Redis主从复制与Redis集群

2023-11-16

Redis主从复制与Redis集群


前言

本节主要讲述redis主从复制和redis集群,以及两者的区别。

一、主从复制

1.是什么?

主机数据更新后根据配置和策略, 自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主

2 能干嘛

  • 读写分离,性能扩展
  • 容灾快速恢复

3 怎么玩:主从复制

拷贝多个redis.conf文件include(写绝对路径)
开启daemonize yes
Pid文件名字pidfile
指定端口port
Log文件名字
dump.rdb名字dbfilename

4 新建redis*.conf配置文件

在/usr/myredis目录下新建三个文件
在这里插入图片描述
【第一步】修改/usr/myredis/redis.conf文件,将appendonly的值修改为no
【第二步】新建redis6379.conf

include /usr/myredis/redis.conf
pidfile /var/run/redis_6379.pid
port 6379
dbfilename dump6379.rdb

在这里插入图片描述
【第三步】新建redis6380.conf,填写以下内容

在这里插入图片描述
【第四步】新建redis6381.conf,填写以下内容
在这里插入图片描述
【第五步】启动三台redis服务器
在这里插入图片描述
【第六步】查看系统进程,看看三台服务器是否启动
在这里插入图片描述
【第七步】查看三台主机运行情况

info replication

在这里插入图片描述
【第八步】配从(库)不配主(库)

slaveof  <ip><port>

成为某个实例的服务器
1、在6380和6381上执行: slaveof 127.0.0.1 6379
2、在主机上写,在从机上读
3、主机挂掉,重启就行,一切如初
4、从机重启需重设:slaveof 127.0.0.1 6379
可以将配置增加到文件中。永久生效。

5.主从集群常用3种

1 主从模式一:一主二从

slave1、slave2是从头开始复制还是从切入点开始复制?比如从k4进来,那之前的k1,k2,k3是否也可以复制?

答:不管从机何时加入主从集群,第一次都是全量复制,后面进行增量复制

从机是否可以写?set可否?

答:从机不可以写入, 不可以执行set,会报错

主机shutdown后情况如何?从机是上位还是原地待命?

答:原地待命

主机又回来了后,主机新增记录,从机还能否顺利复制?

答:主机回来了,主机还是主机,从机还是可以继续绘制的

其中一台从机down后情况如何?依照原有它能跟上大部队吗?

答:从机down机之后,重启,执行slaveof命令,第一次进行全量复制,后面进行增量复制

2 主从模式二:薪火相传

上一个Slave可以是下一个slave的Master,Slave同样可以接收其他 slaves的连接和同步请求,那么该slave作为了链条中下一个的master, 可以有效减轻master的写压力,去中心化降低风险。

slaveof <ip><port>

中途变更转向:会清除之前的数据,重新建立拷贝最新的

风险是一旦某个slave宕机,后面的slave都没法备份

主机挂了,从机还是从机,无法写数据了

3 主从模式三:反客为主

当一个master宕机后,后面的slave可以立刻升为master,其后面的slave不用做任何修改。

用 slaveof no one 将从机变为主机。

6 复制原理

  • 当从服务器连接上主服务器之后,从服务器就会向主服务器发送一个sync命令进行数据同步操作
  • 主服务器接到从服务器发过来的同步命令,先将主服务器数据进行持久化,生成rdb文件,然后把rdb文件发送给从服务器,从服务器拿到rdb进行读取,完成复制
  • 每次主服务器进行写操作之后,和从服务器进行数据同步
  • 全量复制:从机第一次连接主机,主机所有的数据将会同步给从机。
  • 增量复制:主机继续将新的数据依次传给从机
  • 但是只要是重新连接master,全量复制都会自动执行

7 哨兵模

反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库

1.使用步骤

在/usr/myredis目录下新建sentinel.conf文件,名字绝不能错

【第一步】调整为一主二从模式,6379带着6380、6381

【第二步】自定义的/usr/myredis目录下新建sentinel.conf文件,名字绝不能错

【第三步】配置哨兵,填写内容

sentinel monitor mymaster 127.0.0.1 6379 1

其中mymaster为监控对象起的服务器名称, 1 为至少有多少个哨兵同意迁移的数量。

【第四步】启动哨兵
执行redis-sentinel /usr/myredis/sentinel.conf
在这里插入图片描述
【第五步】当主机挂掉,从机选举中产生新的主机

(大概10秒左右可以看到哨兵窗口日志,切换了新的主机)
原主机重启后会变为从机。
【第六步】复制延时

由于所有的写操作都是先在Master上操作,然后同步更新到Slave上,所以从Master同步到Slave机器有一定的延迟,当系统很繁忙的时候,延迟问题会更加严重,Slave机器数量的增加也会使这个问题更加严重。

2. 故障恢复
  1. 从下线的主服务的所有从服务里面挑选一个从服务,将其转成主服务,选择条件依次为
    • 选择优先级靠前的:优先级在redis.conf中默认:replica-priority 100,值越小优先级越高
    • 选择偏移量最大的:偏移量是指获得原主机数据最全的
    • 选择runid最小的从服务:每个redis实例启动后都会随机生成一个40位的runid
  2. 跳转出新的主服务之后,其他服务会向新主服务发送slaveof命令
  3. 当已下线的服务重新上线时,sentinel会向其发送slaveof命令,让其成为新主的从

二、Redis集群

1.什么是集群

Redis 集群实现了对Redis的水平扩容,即启动N个redis节点,将整个数据库分布存储在这N个节点中,每个节点存储总数据的1/N。

Redis 集群通过分区(partition)来提供一定程度的可用性(availability): 即使集群中有一部分节点失效或者无法进行通讯, 集群也可以继续处理命令请求。

2. 删除持久化数据

将rdb,aof文件都删除掉。就留redis.conf就可以了

3.创建6个实例,6379,6380,6381,6389,6390,6391

在这里插入图片描述

4.1 配置基本信息

开启daemonize yes

Pid文件名字

指定端口

Log文件名字

Dump.rdb名字

Appendonly 关掉或者换名字

4.2 redis cluster配置修改

cluster-enabled yes 打开集群模式

cluster-config-file nodes-6379.conf 设定节点配置文件名

cluster-node-timeout 15000 设定节点失联时间,超过该时间(毫秒),集群自动进行主从切换。

include /usr/myredis/redis.conf
pidfile /var/run/redis_6379.pid
port 6379
dbfilename dump6379.rdb
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000

4.3 修改好redis6379.conf文件,拷贝多个redis.conf文件

在这里插入图片描述
使用查找替换修改另外5个文件

例如::%s/6379/6380

启动6个redis服务

redis-server redis6379.conf
redis-server redis6380.conf
redis-server redis6381.conf
redis-server redis6389.conf
redis-server redis6390.conf
redis-server redis6391.conf

4.4 将六个节点合成一个集群

先移动到src下

cd  /usr/software/redis-6.2.1/src
redis-cli --cluster create --cluster-replicas 1 192.168.200.130:6379 192.168.200.130:6380 192.168.200.130:6381 192.168.200.130:6389 192.168.200.130:6390 192.168.200.130:6391

此处 请用真实IP地址 192.168.200.130
–replicas 1 采用最简单的方式配置集群,一台主机,一台从机,正好三组。

  • 普通方式登录

    1、可能直接进入读主机,存储数据时,会出现MOVED重定向操作。所以,应该以集群方式登录。

    2、-c 采用集群策略连接,设置数据会自动切换到相应的写主机

    ​ redis-cli -c -p 6379

    3、通过 cluster nodes 命令查看集群信息

4.5 redis cluster 如何分配这六个节点?

一个集群至少要有三个主节点。

选项 --cluster-replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。

分配原则尽量保证每个主数据库运行在不同的IP地址,每个从库和主库不在一个IP地址上。

5 什么是slots

一个 Redis 集群包含 16384 个插槽(hash slot), 数据库中的每个键都属于这 16384 个插槽的其中一个,

集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽, 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。

集群中的每个节点负责处理一部分插槽。 举个例子, 如果一个集群可以有主节点, 其中:

节点 A 负责处理 0 号至 5460 号插槽。

节点 B 负责处理 5461 号至 10922 号插槽。

节点 C 负责处理 10923 号至 16383 号插槽。

6 在集群中录入值

在redis-cli每次录入、查询键值,redis都会计算出该key应该送往的插槽,如果不是该客户端对应服务器的插槽,redis会报错,并告知应前往的redis实例地址和端口。

redis-cli客户端提供了 –c 参数实现自动重定向。

如 redis-cli -c –p 6379 登入后,再录入、查询键值对可以自动重定向。

不在一个slot下的键值,是不能使用mget,mset等多键操作。

在这里插入图片描述

可以通过{}来定义组的概念,从而使key中{}内相同内容的键值对放到一个slot中去。
在这里插入图片描述

7 查询集群中的值

在这里插入图片描述

8 故障恢复

1、如果主节点下线?从节点能否自动升为主节点?注意:15秒超时
主节点下线下线后经过15秒,从节点会自动变成主节点

2、主节点恢复后,主从关系会如何?
主节点回来变成从机。

3、如果所有某一段插槽的主从节点都宕掉,redis服务是否还能继续?

​ 如果某一段插槽的主从都挂掉,而cluster-require-full-coverage 为yes ,那么 ,整个集群都挂掉

​ 如果某一段插槽的主从都挂掉,而cluster-require-full-coverage 为no ,那么,该插槽数据全都不能使用,也无 法存储。

redis.conf中的参数 cluster-require-full-coverage

9 集群的Jedis开发

即使连接的不是主机,集群会自动切换主机存储。主机写,从机读。

无中心化主从集群。无论从哪台主机写的数据,其他主机上都能读到数据。

10 Redis 集群提供了以下好处

实现扩容

分摊压力

无中心配置相对简单

三.Redis 主从复制、哨兵和集群三者区别

主从复制是为了数据备份,哨兵是为了高可用,Redis主服务器挂了哨兵可以切换,集群则是因为单实例能力有限,搞多个分散压力,简短总结如下:

主从模式:备份数据、负载均衡,一个Master可以有多个Slaves。

sentinel发现master挂了后,就会从slave中重新选举一个master。

cluster是为了解决单机Redis容量有限的问题,将数据按一定的规则分配到多台机器。

sentinel着眼于高可用,Cluster提高并发量。

  1. 主从模式:读写分离,备份,一个Master可以有多个Slaves。

  2. 哨兵sentinel:监控,自动转移,哨兵发现主服务器挂了后,就会从slave中重新选举一个主服务器。

  3. 集群:为了解决单机Redis容量有限的问题,将数据按一定的规则分配到多台机器,内存/QPS不受限于单机,可受益于分布式集群高扩展性。


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Redis主从复制与Redis集群 的相关文章

  • 为什么在 ruby​​ 中创建元类?

    我正在尝试了解 Ruby 对象模型 我知道实例方法保存在类中而不是类的对象中 因为它消除了冗余 我读到 每当创建一个类时 也会为新创建的类创建一个元类 元类存储类方法 即该类的单例方法位于元类中 例如 class MyClass def h
  • 在 Ruby 中构建字符串时,为什么铲运算符 (<<) 优于加等于 (+=)?

    我正在通过 Ruby Koans 进行工作 The test the shovel operator modifies the original string公案中about strings rb包括以下评论 Ruby 程序员倾向于使用铲子
  • 初始化父类时如何返回子类的新实例?

    给定一个类层次结构如下 class A def initialize param if param 1 then initialize and return instance of B else initialize and return
  • Twitter-Typeahead 不提供建议

    我正在尝试使用twitter typeahead rails 我的目的是当我在 Typeahead 输入框中键入内容时 通过下拉框建议模型 User 的实例 但是 当我打字时什么也没有发生 有人看到我的代码有什么问题吗 Gemfile ge
  • 使用试运行选项运行黄瓜时出错

    我试图通过仅打开和关闭浏览器一次来提高运行测试的速度 http watirmelon com 2012 04 01 Five page object anti patterns http watirmelon com 2012 04 01
  • Rails——自我与@

    我正在关注 Michael Hartl 的 RoR 教程 它涵盖了密码加密的基础知识 这是当前的用户模型 class User lt ActiveRecord Base attr accessor password attr accessi
  • 广告过滤服务器端[关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我正在开发一个 Web 应用程序 在其中显示来自其他网站的 HTML 在显示最终版本之前 我想去掉广告 关于如何实现这一目标有什么想法
  • 使用 %w[] 创建包含空字符串的数组

    创建包含空字符串的数组 a b c 不是一个空格字符串 使用 W我可以用 W a b c 我也可以连接数组 但是是否可以使用空字符串创建数组 w 几个选项 W a b c z W a b c lt lt 我知道这没有使用 w 语法 但为了更
  • Redis发布/订阅:查看当前订阅了哪些频道

    我目前有兴趣查看我拥有的 Redis 发布 订阅应用程序中订阅了哪些频道 当客户端连接到我们的服务器时 我们将它们注册到如下所示的通道 user user id 这样做的原因是我希望能够看到谁 在线 目前 我在不知道客户端是否在线的情况下盲
  • Node Js:Redis 作业在完成其任务后未完成

    希望你们做得很好 我在我的 Nodejs 项目中实现了 BullMQ Bull 的下一个主要版本 来安排发送电子邮件的作业 例如 发送忘记密码请求的电子邮件 所以 我编写了如下所示的代码 用户服务 await resetPasswordJo
  • 在 Sinatra 中缓存响应的最佳方式?

    我正在使用我用 Sinatra 制作的 API 构建一个简单的应用程序 该 API 返回一些 JSON 这是相当多的 JSON 我的应用程序的 API 依赖于对其他 API 的数百个请求 我大概可以将结果缓存 5 天左右 数据完全没有问题
  • Rails 4.0 expire_fragment/缓存过期不起作用

    我一直在尝试使用 Rails 的缓存功能 但我无法使某些缓存片段过期 尽管它们似乎已过期 使用 Rails 教程网站中指出的 Russian Doll Caching 我正在使用此配置 我使release controller rb 控制器
  • 与 Ruby 1.9.X 中的 Iconv.conv("UTF-8//IGNORE",...) 等效吗?

    我正在从远程源读取数据 偶尔会得到另一种编码的一些字符 它们并不重要 我想得到一个 最佳猜测 utf 8 字符串 并忽略无效数据 主要目标是获得一个我可以使用的字符串 并且不会遇到以下错误 编码 UndefinedConversionErr
  • Rails 3 ActiveAdmin。如何为关联记录设置默认排序顺序?

    我有一个发货模型和一个发票模型 发票属于装运 所以我添加了一个默认的发货排序顺序 如下所示 config sort order file number desc 但现在我想为发票添加相同的排序顺序 发货表是具有 file number 列的
  • 如何将 rubocop 与 Rake 集成?

    rubocop https github com bbatsov rubocop是 Ruby 的代码风格检查器 与 rubocop 类似的工具 Cane 可以与 Rake 集成 https github com square cane in
  • Lua中按字符分割字符串

    我有像这样的字符串 ABC DEF 我需要将它们分开 字符并将两个部分分别分配给一个变量 在 Ruby 中 我会这样做 a b ABC DEF split 显然Lua没有这么简单的方法 经过一番挖掘后 我找不到一种简短的方法来实现我所追求的
  • 如何在 Ruby 中将一个数组添加到另一个数组而不最终得到多维结果?

    I tried somearray some thing anotherarray another thing somearray push anotherarray flatten 我期望 some thing another thing
  • ruby中如何获取屏幕分辨率

    如何在ruby脚本中获取屏幕分辨率 高度 宽度 在 Linux 上 x y xrandr scan current d x d flatten 在 Windows 上 使用WIN32OLE等 http www ruby forum com
  • Ruby 反向柯里化:这可能吗?

    关于 Ruby 1 9 x 中的柯里化 我一直在某些地方使用它 并且可以像基本上支持 proc 参数的默认参数一样进行翻译 p proc x y z x y z p curry 1 gt returns a lambda p curry 1
  • 处理中渲染极地带面体时出现问题

    我最近一直在研究 Zohedrons 和Rob Bell http zomadic com 做出了美丽的 我玩了免费的极地带面体 Sketchup 插件 http zomebuilder com 并考虑使用几何图形加工 http proce

随机推荐

  • Ubuntu 16.04.4 LTS下安装JDK

    Ubuntu 16 04 4 LTS下安装JDK 阅读目录 写在前面 方法 测试 结束 写在前面 为什么我又装jdk 今天顺手升级了我的双系统中的Ubuntu 开始的时候用的图形化界面升级 后来你懂的 升级软件死锁了 用命令行也没有效果了
  • MySQL 索引原理

    MySQL索引深入剖析 官方定义是 索引 Index 是帮助MySQL高效获取数据的数据结构 简单来说 索引是一种数据结构 以协助快速查询 更新数据库表中数据 索引的基本原理 把创建索引列的内容进行排序 对排序的结果生成倒排表 在倒排表内容
  • 关于 ag-grid 的调研之路

    前言 因为公司业务需要 需要对 ag grid数据网格进行调研 随后就开始了漫长的探索之路 废话不多说直接撸干活 ag grid 简介 AG Grid是一个功能齐全 高度可定制的JavaScript数据网格 它提供了卓越的性能 没有第三方依
  • disruptor高性能环形队列

    简介 说到Disruptor 首先需要谈谈LMAX 它是欧洲第一家也是唯一一家采用多边交易设施Multilateral Trading Facility MTF 拥有交易所牌照和经纪商牌照的欧洲顶级金融公司 它们所构建的金融交易平台 建立在
  • An error occured, please see below or look at Nuxt.js terminal for more info. Error: EACCES: permiss

    这个问题应该就是mac会遇到 把npm run dev 前面加个sudo sudo npm run dev 就可以了
  • 《人工智能导论》 第1章 绪论&第2章 知识表示&第3章 确定性推理方法&第4章 不确定推理方法

    绪论 人工智能的基本概念 智能的概念 目前对智能还没有确切的定义 主要流派有 思维理论 智能的核心是思维 认为通过对思维规律与方法的研究可揭示智能的本质 知识阈值理论 智能取决于知识的数量及一般化程度 认为智能是在巨大的搜索空间中迅速找到满
  • 华为机试training-03

    蛇形矩阵 蛇形矩阵是由1开始的自然数依次排列成的一个矩阵上三角形 例如 当输入5时 应该输出的三角形为 1 3 6 10 15 2 5 9 14 4 8 13 7 12 11 其具体实现代码如下 include
  • mybatits的PageHelper分页工具的使用

    最近开发一个后台管理系统 有一些东西记录一下 之前都是没有这个工具之前都是传递参数到xml进行分页查询 1 首先导入一些可能导入的包
  • Java 集合深入理解 (十一) :HashMap之实现原理及hash碰撞

    文章目录 前言 哈希表原理 实现示例 HashMap实现原理 全篇注释分析 实现注意事项 默认属性分析 属性分析 构造方法分析 重要的put方法 总结 前言 哈希表 hashMap 又叫散列表 是一种非常重要的数据结构基于map接口实现 应
  • STM32 MCP2515连发 多发 MCP2515收发程序 多路CAN通信 2路CAN

    MCP2515在发送数据时 如果通信速率较低一切都正常 但是当通信速率较高 比如1M时 发送一帧数据后 MCP2515有时会出现自动重复发送多帧数据的情况 为解决这现象 请参照官方给的 MCP2515勘误手册 第5条 给出了解决CAN速率较
  • IDEA正则表达式高级替换

    1 需求 需要将如下注释转换成另外一个形式 员工姓名 private String name 员工姓名 private String name 2 在idea中输入正则表达式进行快速替换 3 具体的正则表达式如下 替换前正则 替换后正则 1
  • openGL之API学习(二零二)glsl的smooth flat

    采用flat着色时 OpenGL将使用图元中某个顶点的颜色来渲染整个图元 通常情况下会选择图元的第一个或最后一个顶点的颜色作为该图元的颜色 在使用smooth着色时 OpenGL会独立的处理图元中各个顶点的颜色 对于线段图元 线段上各点的颜
  • 电子信息工程专业毕设题目选题推荐

    文章目录 1前言 2 如何选题 3 选题方向 2 1 嵌入式开发方向 2 2 物联网方向 2 3 移动通信方向 2 4 人工智能方向 2 5 算法研究方向 2 6 移动应用开发方向 2 7 网络通信方向 3 4 学长作品展示 4 最后 1前
  • Oracle开窗分析函数,Oracle 惯用的分析开窗函数

    SELECT T EMAIL USER NAME COUNT OVER PARTITION BY T EMAIL MAIL ORDER BY T EMAIL TEL DESC C FROM T BASE EMAIL T SELECT T E
  • python startswith与endswith

    python startswith与endswith 如果你要用python匹配字符串的开头或末尾是否包含一个字符串 就可以用startswith 和endswith 比如 content ilovepython 如果字符串content以
  • 以模板的方式重载"operator <<"需要注意的地方

    当我们用C 进行后台开发的时候 常常需要知道某一时刻一个容器的内容 通常 我们的做法是利用迭代器将容器内容打印到日志文件中 然后进行观察分析 如果每次打印都去找迭代器的麻烦 显然不是我们想要的 这样 顺理成章的我们就想到了封装函数 为了更方
  • Vue3 —— 使用Vite配置环境变量

    文章目录 一 为什么要配置环境变量 二 在Vite中配置环境变量 1 环境变量和模式 2 环境变量 3 生产环境替换 4 env 文件 总结 一 为什么要配置环境变量 在一个产品的前端开发过程中 一般来说会经历本地开发 测试脚本 开发自测
  • Spring boot定制个性化banner(七彩佛祖版)

    1 在项目的src main resources目录下创建banner txt文件 2 创建完成banner txt文件后 即可以在文件中放入需要自定义的任意字符图案 本次以佛祖图案为例 代码直接复制放到banner txt文件即可 不用做
  • 2021年蓝桥杯Python常见考点【持续更新ing】

    目录 一 常用技巧 一 输入输出 1 一行输入数值 2 多行输入 二 列表 1 存储多行 用 2 从多行数字 转变为二维列表 3 怎样将以下列表转化为整数 三 元组 四 集合 二 常见内置函数 一 itertools 二 数学函数 三 数据
  • Redis主从复制与Redis集群

    Redis主从复制与Redis集群 前言 一 主从复制 1 是什么 2 能干嘛 3 怎么玩 主从复制 4 新建redis conf配置文件 5 主从集群常用3种 1 主从模式一 一主二从 2 主从模式二 薪火相传 3 主从模式三 反客为主