内存数据库-3-[redis]的架构原理和部署模式

2023-11-19

参考redis三种模式对比
Redis 是一个开源的 key-value 存储系统,由于出众的性能,大部分互联网企业都用来做服务器端缓存。

1 单实例模式

在这里插入图片描述问题
(1)内存容量有限。
(2)处理能力有限。
(3)无法高可用。

Redis 在3.0版本前只支持单实例模式,虽然支持主从模式、哨兵模式部署来解决单点故障,但是现在互联网企业动辄大几百G的数据,可完全是没法满足业务的需求,所以,Redis 在 3.0 版本以后就推出了集群模式

2 集群模式

redis集群有三种方式:主从复制,哨兵,集群(master-cluster)。

Redis 集群采用了P2P的模式,完全去中心化。Redis 把所有的 Key 分成了 16384 个 slot,每个 Redis 实例负责其中一部分 slot 。集群中的所有信息(节点、端口、slot等),都通过节点之间定期的数据交换而更新。

Redis 客户端可以在任意一个 Redis 实例发出请求,如果所需数据不在该实例中,通过重定向命令引导客户端访问所需的实例。

2.1 主从复制(Master-Slave)版本2.8之前的模式

数据库分为两类,Master数据库和Slave数据库。
Redis 的复制(replication)功能允许用户根据一个 Redis 服务器来创建任意多个该服务器的复制品,其中被复制的服务器为主服务器(master),而通过复制创建出来的服务器复制品则为从服务器(slave)。

只要主从服务器之间的网络连接正常,主从服务器两者会具有相同的数据,主服务器(master)就会一直将发生在自己身上的数据更新同步给从服务器(slave),从而一直保证主从服务器的数据相同。

在这里插入图片描述同Mysql主从复制的原因一样,Redis虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况。为了分担读压力,Redis支持主从复制,Redis的主从结构可以采用一主多从或者级联结构,Redis主从复制可以根据是否是全量分为全量同步和增量同步
例如:级联结构。
在这里插入图片描述

原理
全量同步
(1)slave连接master发送sync命令。
(2)master持久化数据生成rdb文件并缓存这段时间的写命令。
(3)master向slave发送rdb文件和缓存的命令。
(4)slave载入rdb快照后执行缓存的命令(slave初始化完成)。
增量同步
(5)master每接收到一个写命令就发送给slave执行(slave初始化完成后的操作)。

在这里插入图片描述

特点
解决数据备份问题。
做到读写分离,提高服务器性能。
(1)master/slave 角色。
(2)master/slave 数据相同。
(3)降低 master 读压力,master一般是接受读写的,slave只接受读操作。
(4)一个master下面可以有多个slave,但是一个slave上面只能有一个master。

问题
(1)无法保证高可用。
每个客户端连接redis实例的时候都是指定了ip和端口号的,如果所连接的redis实例因为故障下线了,而主从模式也没有提供一定的手段通知客户端另外可连接的客户端地址,因而需要手动更改客户端配置重新连接。
(2)没有解决master写的压力。
(3)主从模式下,如果主节点由于故障下线了,那么从节点因为没有主节点而同步中断,因而需要人工进行故障转移工作。
(4)无法实现动态扩容。

2.2 哨兵模式sentinel版本2.8及之后的模式

哨兵是用来监控主从数据库的,当master挂掉后选择一个salve当做master。
Sentinel(哨兵)是Redis的高可用性解决方案:由一个或多个Sentinel实例组成的Sentinel系统可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器,并在被监视的主服务器进入下线状态时,自动将下线主服务器属下的某个从服务器升级为新的主服务器。
在这里插入图片描述Redis sentinel 是一个分布式系统中监控 redis 主从服务器,并在主服务器下线时自动进行故障转移。

原理
与master建立连接后,哨兵会执行三个操作,这三个操作的发送频率都可以在配置文件中配置:
(1)定期向master和slave发送INFO命令。
(2)定期向master和各slave的sentinel:hello频道发送自己的信息。
(3)定期向master、slave和其他哨兵发送PING命令。

master挂掉后从slave中选取规则
(1)所有在线的slave中选择优先级最高的,优先级可以通过slave-priority配置。
(2)如果有多个最高优先级的slave,则选取复制偏移量最大(即复制越完整)的当选。
(3)如果以上条件都一样,选取id最小的slave。
在这里插入图片描述
server1掉线后。
在这里插入图片描述
升级server2为新的主服务器。
在这里插入图片描述

三个特性
(1)监控(Monitoring):Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。
(2)提醒(Notification): 当被监控的某个 Redis 服务器出现问题时, Sentinel 可以通过 API 向管理员或者其他应用程序发送通知。
(3)自动故障迁移(Automatic failover): 当一个主服务器不能正常工作时, Sentinel 会开始一次自动故障迁移操作。

特点
(1)保证高可用
(2)监控各个节点
(3)自动故障迁移
如果Master 异常,则会进行Master-slave 转换,将其中一个Slave作为Master,将之前的Master作为Slave。
Master-Slave切换后,master_redis.conf、slave_redis.conf和sentinel.conf的内容都会发生改变,即master_redis.conf中会多一行slaveof的配置,sentinel.conf的监控目标会随之调换。
缺点
(1)主从模式,切换需要时间丢数据。
(2)没有解决 master 写的压力。
(3)如果是从节点下线了,sentinel是不会对其进行故障转移的,连接从节点的客户端也无法获取到新的可用从节点。
(4)无法实现动态扩容。

2.3 集群redis-cluster版本redis3.0之后的模式

redis的哨兵模式基本已经可以实现高可用,读写分离 ,但是在这种模式下每台redis服务器都存储相同的数据,很浪费内存,所以在redis3.0上加入了cluster模式,实现的redis的分布式存储,也就是说每台redis节点上存储不同的内容。

使用集群,只需要将每个数据库节点的cluster-enable配置打开即可
每个集群中至少需要三个主数据库才能正常运行
在这里插入图片描述
从redis 3.0之后版本支持redis-cluster集群,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。
在这里插入图片描述

每一个蓝色的圈都代表着一个redis的服务器节点。它们任何两个节点之间都是相互连通的。客户端可以与任何一个节点相连接,然后就可以访问集群中的任何一个节点,对其进行存取和其他操作。

一般集群建议搭建三主三从架构,三主提供服务,三从提供备份功能

每一个节点都存有这个集群所有主节点以及从节点的信息。
它们之间通过互相的ping-pong判断是否节点可以连接上。
如果有一半以上的节点去ping一个节点的时候没有回应,集群就认为这个节点宕机了,然后去连接它的备用节点。
如果某个节点和所有从节点全部挂掉,我们集群就进入faill状态。
如果有一半以上的主节点宕机,那么我们集群同样进入fail状态。

特点
(1)无中心架构(不存在哪个节点影响性能瓶颈)。
(2)数据按照 slot 存储分布在多个节点,节点间数据共享,可动态调整数据分布。
(3)可扩展性,可线性扩展到 1000 个节点,节点可动态添加或删除。
(4)高可用性,部分节点不可用时,集群仍可用。通过增加 Slave 做备份数据副本。
(5)实现故障自动 failover,节点之间通过 gossip 协议交换状态信息,用投票机制完成 Slave到 Master 的角色提升。
优点
(1)有效的解决了redis在分布式方面的需求。
(2)遇到单机内存,并发和流量瓶颈等问题时,可采用Cluster方案达到负载均衡的目的。
(3)可实现动态扩容。
(4)P2P模式,无中心化。
(5)通过Gossip协议同步节点信息。
(6)自动故障转移、Slot迁移中数据可用。
缺点
(1)资源隔离性较差,容易出现相互影响的情况。
(2)数据通过异步复制,不保证数据的强一致性。
(3)架构比较新,最佳实践较少。
(4)为了性能提升,客户端需要缓存路由表信息。
(5)节点发现、reshard操作不够自动化。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

内存数据库-3-[redis]的架构原理和部署模式 的相关文章

  • Redis 块推送直到列表有空位

    我正在寻找类似的东西BLPUSH该命令将阻塞 直到列表的长度低于指定值max size 目的是防止生产者运行速度快于消费者时列表无限增长 功能与 python 非常相似Queue put https docs python org 3 li
  • 使用 AWS ElastiCache 请求中的 Airflow CROSSSLOT 密钥未散列到同一插槽错误

    我在 AWS ECS 上运行 apache airflow 1 8 1 并且有一个 AWS ElastiCache 集群 redis 3 2 4 运行 2 个分片 2 个启用多可用区的节点 集群 Redis 引擎 我已经验证气流可以毫无问题
  • PooledRedisClientManager 未释放连接

    我将 json 数据列表存储在 redis 中并使用 ServiceStack c 客户端访问它 我本质上是在管理自己的外键 我在其中存储zrangeid 我使用应用程序内部的接口从zrange然后从 Redis 获取底层 json 对象并
  • 如何在多个Lua State(多线程)之间传递数据?

    我在中启动Redis连接池redis lua 通过从 C 调用 我得到了redis lua state 此 Lua 状态全局启动一次 仅在其他线程中启动get从中 当有一个 HTTP 请求 工作线程 时 我需要从redis lua stat
  • 如何设置 Celery 以通过 ssl 与 Azure Redis 实例对话

    使用 的伟大答案 如何在microsoft azure上的django项目中配置celery redis https stackoverflow com questions 39616701 how to configure celery
  • 库存管理系统的 SQL 与 NoSQL

    我正在开发一个基于 JAVA 的网络应用程序 主要目的是拥有在多个称为渠道的网站上销售的产品的库存 我们将担任所有这些渠道的管理者 我们需要的是 用于管理每个渠道的库存更新的队列 库存表 其中包含每个通道上分配的正确快照 将会话 ID 和其
  • redis-cli 重定向到 127.0.0.1

    我在PC1上启动Redis集群 然后在PC2上连接它 当需要重定向到另一个集群节点时 它会显示Redirected to slot 7785 located at 127 0 0 1 但应该显示Redirected to slot 7785
  • redis 阻塞直到 key 存在

    我是 Redis 新手 想知道是否有办法能够await get通过它的键来获取值 直到该键存在 最小代码 async def handler data await self fetch key async def fetch key ret
  • 在 aws-elasticache 上使用 memcached 或 Redis

    我正在 AWS 上开发一个应用程序 并使用 AWS elasticache 进行缓存 我对使用 memcached 或 redis 感到困惑 我阅读了有关 redis 3 0 2 更新以及它现在如何等同于 memchached 的文章 ht
  • 使用 Sentinels 升级 Redis 的最佳实践?

    我有 3 个 Redis 节点 由 3 个哨兵监视 我进行了搜索 文档似乎不清楚如何最好地升级此类配置 我目前使用的是 3 0 6 版本 我想升级到最新的 5 0 5 我对这方面的程序有几个疑问 升级两个大版本可以吗 我在我们的暂存环境中执
  • Laravel 所有会话 ID 与 Redis 驱动程序

    在我的应用程序中 我希望允许某些用户能够注销除他 她之外的所有其他用户 当会话驱动程序设置为文件时 我已经完成了此功能 但现在我使用 redis 作为会话驱动程序 并且我无法找到任何方法来列出所有当前会话 就像我在文件时所做的那样司机 问题
  • Redis是如何实现高吞吐量和高性能的?

    我知道这是一个非常普遍的问题 但是 我想了解允许 Redis 或 MemCached Cassandra 等缓存 以惊人的性能极限工作的主要架构决策是什么 如何维持连接 连接是 TCP 还是 HTTP 我知道它完全是用C写的 内存是如何管理
  • StackExchange.Redis的正确使用方法

    这个想法是使用更少的连接和更好的性能 连接会随时过期吗 对于另一个问题 redis GetDatabase 打开新连接 private static ConnectionMultiplexer redis private static ID
  • 如何使 Redis 缓存中数据层次结构(树)的部分内容无效

    我有一些产品数据 需要在 Redis 缓存中存储多个版本 数据由 JSON 序列化对象组成 获取普通 基本 数据的过程很昂贵 将其定制为不同版本的过程也很昂贵 因此我想缓存所有版本以尽可能进行优化 数据结构看起来像这样 BaseProduc
  • redis 2.8.7 Linux Sentinel环境配置问题,如何使其自启动,应该订阅什么?

    现在我们尝试使用 redis 2 8 7 作为缓存存储 来自使用 booksleeve 客户端的 NET Web 应用程序 目前看来这是一个非常有趣和令人兴奋的任务 redis 文档非常好 但由于缺乏真正的实践经验 我确实有几个关于如何正确
  • 如何在Redis中只保存一个数据库?

    我是 Redis 新手 有一个与备份相关的问题 目前 我有一个实例在 Windows 服务器上运行 在这个实例中 我当前有一项 工作 将数据存储在一个数据库中 我不想备份这些数据 我必须创造一份新工作 我的第一个想法是将数据存储在另一个数据
  • Laravel 异常队列最大尝试次数超出

    我创建了一个应用程序来向多个用户发送电子邮件 但在处理大量收件人时遇到问题 该错误出现在failed jobs table Illuminate Queue MaxAttemptsExceededException App Jobs ESe
  • 在 Spring 4 中干掉通用的 RedisTemplate

    我读到你可以拥有 Autowired从 Spring 4 开始泛型 这太棒了 我有一个摘要RedisService我想参加的课程 Autowired一个通用的 RestTemplate 如下所示 public abstract class
  • Spring Data Redis 覆盖默认序列化器

    我正在尝试创建一个RedisTemplatebean 将具有更新的值序列化器来序列化对象JSONredis 中的格式 Configuration class RedisConfig Bean name redisTemplate Prima
  • 由于配置文件错误,无法启动 Redis 服务器

    我刚刚按照此处的说明安装了 Redis http redis io download http redis io download 当我运行 redis server redis conf 时出现以下错误 FATAL CONFIG FILE

随机推荐

  • 搭建DAO层和Service层代码

    第一部分建立实体和映射文件 1 通过数据库生成的实体 此步骤跳过 关于如何查看生成反向工程实体类查看SSH框架搭建教程 反向工程章节 Tmenu和AbstractorTmenu是按照数据库表反向工程形成的JAVA实体 在形成实体的时候注意
  • python:编写程序,输入一批学生的成绩,求平均成绩和最高分。

    n 1 max score 0 score sum 0 while n lt 6 n 1 student Id input 请输入编号 编号输入 score eval input 请输入成绩 成绩输入 score sum score 输入成
  • 新机部署docker报错docker.service: Start request repeated too quickly.

    报错内容 主要报错内容 docker service Start request repeated too quickly Failed with result exit code Failed to start Docker Applic
  • 中国XXXXXXXXXXXXX管理软件销售实施三部曲

    中国XXXXXXXXXXXXX牛B 管理软件销售实施服务一条龙分三部分走 第一步 卖软件 客户的艳阳天 卖软件前 销售的嘴巴像屁股绽放般 见过狗没 没见过的话 只能在签约前才能见到的 客户你说想实现啥 这个牛B的中国XXXXXXXXXXXX
  • VSCode安装教程

    VSCode软件下载 官网下载地址 Visual Studio Code Code Editing Redefined 1 点击Download for Windows的下拉按钮 点击Other downloads 2 在这里可以选择自己想
  • 小孩机器人编程真的有用吗

    小孩机器人编程真的有用吗 很多的家长在培养孩子的学习的时候 是十分的认真耐心的 他们会给孩子选择一些能够有利于孩子成长的课程 就拿现在很多的家长想要孩子去学习机器人编程的课程来说 有的家长对于小孩机器人编程真的有用吗并不是很清楚 今天我们就
  • Docker(六)----Swarm搭建Docker集群

    一 什么是Swarm Swarm这个项目名称特别贴切 在Wiki的解释中 Swarm behavior是指动物的群集行为 比如我们常见的蜂群 鱼群 秋天往南飞的雁群都可以称作Swarm behavior Swarm项目正是这样 通过把多个D
  • 数据结构---链表

    目录 链表的概念 封装单项链表 封装链表结构 append方法 追加元素 toString方法 转字符串 insert方法 插入元素 get方法 获取元素 indexof 获取索引 update修改某个位置的元素 removeAt方法 删除
  • SQL 日期比较 datediff

    datediff date1 date2 返回 date1 date2的相差天数 用在select语句 select datediff date select max start time from tb user video log da
  • 史上最强内网渗透知识点总结

    https mp weixin qq com s biz MzI5MDQ2NjExOQ mid 2247487491 idx 1 sn 270336c6cca79b4a4e5d777d41ce71b7 chksm ec1e202bdb69a
  • 银河麒麟操作系统v10安装时间

    银河麒麟操作系统安装时间方法1sudo date r var log installer 方法2df Th 然后sudo dumpe2fs dev nvme0n1p3 grep i created
  • sql的递归查询

    在oracle中通过connect by prior来实现递归查询 分类 Oracle随笔 2007 02 16 09 13 11278人阅读 评论 3 收藏 举报 connect by 是结构化查询中用到的 其基本语法是 select f
  • vue3 组件传值之 props 与 attrs 的区别

    最近在学习 vue3 整理了一些学习笔记 如果有人看到 并发现我有写的不对的地方 欢迎指正 用过 vue 组件传值的小伙伴都知道 props 这个属性 而 attrs 属性可以看做 props 的加强版 用来简化 vue 组件传值 那么这两
  • 条件变量(condition variable)详解

    原理 假设我们需要解决这样一个问题 一个列表记录需要处理的任务 一个线程往此列表添加任务 一个线程processTask处理此列表中的任务 这个问题的一个关键点在于processTask怎么判断任务列表不为空 一般有两种方法 一 proce
  • Mathematica的Combinatorica`程序包来研究分拆

    文章目录 引论 步骤 0x00 导入程序包 0x01 Partitions 0x02 Compositions Log 引论 分拆可以看我的这篇文章 在线的Combinatorica 程序包文档可以看这个 在线的Combinatorica
  • 我所理解的RSA加密算法

    RSA简介 非对称加密算法 有一对公私钥组成 1977年由三位数学家Rivest Shamir 和 Adleman 设计了一种算法 没错RSA是三个人名字的首字母 密钥越长越难破解 1024位目前无法破解 因此1024位的RSA密钥基本安全
  • 实现instanceof操作符

    实现instanceof操作符 const theInstanceof function object constructor if typeof object object typeof constructor function retu
  • Spark学习(文件读取路径)

    在不同的启动模式下 加载文件时的路径写法是不一样的 对于local模式下 默认就是读取本地文件 而在standlone或者yarn client 或者cluster模式下 默认读的都是hdfs文件系统 这几种模式下很难读取本地文件 这是很显
  • Qt 信号和槽的小问题(新手向)

    Qt项目报错 static assertion failed Signal and slot arguments are not compatible 信号和槽的参数不对应 例 槽函数 void A give QString a qDebu
  • 内存数据库-3-[redis]的架构原理和部署模式

    参考redis三种模式对比 Redis 是一个开源的 key value 存储系统 由于出众的性能 大部分互联网企业都用来做服务器端缓存 1 单实例模式 问题 1 内存容量有限 2 处理能力有限 3 无法高可用 Redis 在3 0版本前只