程序员经验分享-hwhale

Redis 分布式缓存

2023-11-20

分布式缓存

单点 Redis 的问题及解决

  • 数据丢失：实现Redis数据持久化
  • 并发能力：搭建主从集群，实现读写分离
  • 存储能力：搭建分片集群，利用插槽机制实现动态扩容
  • 故障恢复能力：利用哨兵机制，实现健康检测和自动恢复

RDB

RDB全称Redis Database Backup file （Redis数据备份文件），也被叫做Redis数据快照，简单来说就是把内存中的所有数据都记录到磁盘上，当Redis实时故障重启后，从磁盘读取快照文件，恢复数据

save #由Redis主进程来执行RDB，会阻塞所有命令

bgsave #开启子进程执行RDB，避免主进程收到影响，推荐

RDB默认是开启的，内部有触发机制，可以在redis.conf文件中找到，RDB文件也支持压缩；Redis关闭时，也会触发一次RDB

RDB方式bgsave的基本流程

  • fork主进程得到一个子进程，共享内存空间
  • 子进程读取内存数据并写入新的RDB文件
  • 用新的RDB文件替换旧的RDB文件

RDB会在什么时候执行？save 60 1000的含义？

  • 默认时停止服务的时候
  • 代表60s内至少执行1000次修改才会触发RDB

RDB的缺点

  • RDB执行间隔时间长，两次RDB之间的写入数据由丢失的风险
  • fork子进程、压缩、写RDB文件比较耗时

AOF

AOF全称Append Only Field（追加文件）。Redis处理的每一个写命令都会记录在AOF文件。可以看做时命令日志文件。

AOF默认是关闭的，AOF的命令记录频率也可以通过修改redis.conf文件修改

# 表示每执行一次写命令，立即记录到AOF文件
appendfsync always

# 写命令执行完先放到AOF缓冲区，然后表示每隔1s将缓冲区数据写入到AOF文件，是默认方案
appendfsync everysec

# 写入命令执行完先放入AOF缓冲区，由操作系统决定何时将缓冲区内容写到磁盘
appendfsync no

  • 因为AOF记录的是每次写的命令。AOF文件会比RDB文件大，而且AOF中会记录对同一个key的多次写操作，但是只有最后一次的才有意义，通过执行bgreWriteaop命令，可以让AOF文件执行重写功能，用最少得命令达到相同的效果

  • Redis也会在触发阈值时自动去重写AOF文件，阈值也可以在redis.conf中配置

    # AOF文件比上次文件增长超过多少百分比触发重写
auto-aof-reWrite-percentage 100

# AOF文件体积最小多大以上才触发重写
auto-aof-rewrite-min-size 64mb

  • AOF和RDB同时开启，会以AOF优先；在实际的开发中往往结合两者使用

Redis主从

单点的Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离；

在这里插入图片描述

主从数据同步原理

第一次是全量同步

在这里插入图片描述

全量同步的流程

  1. slave节点请求增量同步
  2. master节点判断replid，发现不一致，拒绝增量同步
  3. master将完整的内存数据生成RDB文件，发送RDB到slave
  4. slave清空本地数据，加载master的RDB文件
  5. master将RDB期间的命令记录在repl_baklog，并持续将log中的命令发送给slave

如果slave重启后，执行增量同步

哨兵（Sentinel）

Redis提供哨兵（Sentinel）机制来实现主从集群的自动恢复

  • 监控：哨兵会不断监控master和slave的健康状况
  • 故障自动恢复：当master故障时，Sentinel哨兵会将其中一个slave提升为master，当老master恢复后，还是以新的master为主
  • 通知：哨兵充当Redis客户端发现来源，当集群发生故障转移时，会将最新的消息推送给Redis的客户端

哨兵基于心跳监测机制，每个1s向集群的每一个实例发送ping命令：

  • 主观下线：如果某个哨兵节点发现某实例为在规定时间内响应，则认为该实例主观下线
  • 客观下线：若超过指定数量（quorum）的哨兵都认为该实例主观下线，则该实例客观下线，类似投票机制

选举新的master

  • 首先会判断slave节点与master节点断开时间的长短，如果超过指定值，则会排除在外
  • 然后根据slave节点的slave-priority，越小优先级越高
  • slave一样，则判断slave节点的offset值。越大说明数据越新，优先级越高
  • 最后判断slave节点的运行id大小，越小优先级越高

故障转移

  • Sentinel哨兵给备选的slave发送命令，让该节点称为新的master
  • 哨兵给所有的其它slave发送命令，让这些节点成为新master的slave节点，开始从master同步数据
  • 最后，哨兵将故障节点，也就是老的master标记为slave从节点

Redis分片集群

在这里插入图片描述

主从和哨兵解决了高可用、高并发读的问题，但依然有两个问题没有解决：

  • 海量数据存储问题
  • 高并发写的问题

使用分片集群可以解决以上问题

  • 集群中有多个master，每个master保存不同的数据
  • 每个master都可以有多个slave节点
  • master之间通过ping监测彼此健康状态
  • 客户端请求可以访问集群中的任一个节点，最终都会被转发到正确的节点上

散列插槽

  1. Redis会把每个master节点映射到0~16383共16384个插槽（Hash slot）上
  2. 数据key不是与节点绑定，而是与插槽绑定，Redis会根据key的有效部分计算插槽值，分为两种情况：
    • key中包含"{}“，且”{}“中至少包含一个字符，”{}"中的部分是有效部分，这就实现了控制不同的key在同一插槽上
    • 可以中不包含"{}"，整个可以都是有效部分
    • 计算方式是利用CRC16算法得到一个Hash值，然后对16384取余，得到的就是slot值
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Redis

缓存

分布式

Redis 分布式缓存 的相关文章

  • 在 Mac OSX 上卸载 Redis。安装更新后正在运行旧版本

    在Mac上 如何找到旧版本的Redis并将其完全卸载 我使用 OSX 并使用以下命令安装 Redisbrew install redis 由brew安装的版本状态redis 3 0 7 但是 当我运行命令时 redis server输出表明

  • 如何在 Docker 容器（Python、Flask 和 Redis）中启动自定义 RQ Worker

    我遵循 Miguel Grinberg 的优秀 Flask Mega 教程 成功设置了一个包含 Redis 任务队列和 RQ 工作线程的 Flask Web 应用程序 所有这些都在 Docker 容器中 为了提高任务队列性能 我现在需要使用

  • Nodejs为Redis请求设置超时

    我编写了一个简单的服务 使用 redis 将数据存储在内存中或从磁盘中获取数据 然后存储在内存中 并希望为慢速请求设置超时 我希望找到一种方法发出带有超时的获取请求 以防止该请求挂起 任何帮助表示赞赏 因此 您可以在这里做一些事情 但是 首

  • $redis 全局变量与 ruby​​ on Rails

    我使用 redis 作为读取缓存 我创建了一个初始化程序 配置 初始化程序 redis rb redis Redis new host gt ENV REDIS HOST port gt ENV REDIS PORT 每当创建新工作人员时

  • Node.js 公牛队列中的作业陷入“等待”状态

    我有一堆工作在公牛队列中 其中一个被卡住了 1 个多小时 通常需要大约 2 分钟才能运行 但没有失败 我无法使用我使用的 bull arena UI 将作业从活动状态中删除 因此我删除了 Redis 中活动作业的密钥 这消除了卡住的活动作业

  • 如何隔离Spring Boot应用程序Redis和Spring Boot会话全局Redis

    据我所知 spring boot和spring session为我们提供了一站式自动配置 但是当我的应用程序使用会话redis和应用程序缓存redis时 不是同一个redis服务器 我该如何配置呢 非常感谢您的回复 事实上 默认情况下 sp

  • 在节点中使用redis获取hash key的所有字段和值

    红色是使用哈希 我需要存储具有多个字段和值的哈希键 我尝试如下 client hmset Table1 Id 9324324 ReqNo 23432 redis print client hmset Table1 Id 9324325 Re

  • Redis多插入问题

    我尝试多次插入 但它给了我错误 http pastie org 7337421 http pastie org 7337421 cat mass insert txt 3 r n 3 r nSET r n 3 r nkey r n 5 r

  • 找不到模块“socket.io/node_modules/redis”

    当尝试做的时候 var redis require socket io node modules redis 我收到错误 找不到模块 socket io node modules redis 我不明白为什么 我正在运行 Windows 并运

  • 使用 sidekiq 处理两个独立的 Redis 实例？

    下午好 我有两个独立但相关的应用程序 他们都应该有自己的后台队列 阅读 单独的 Sidekiq 和 Redis 进程 然而 我希望偶尔能够将工作推给app2的队列来自app1 从简单的队列 推送的角度来看 如果app1没有现有的 Sidek

  • Redis部署配置-主从复制

    目前我有两台服务器 我已经部署了基于node js Express JS的Web服务API 我正在使用 Redis 来缓存 JSON 字符串 将此设置部署到生产中的最佳选择是什么 我懂了here https stackoverflow co

  • Node.js 上通过套接字连接 Redis

    由于共享托管 目标主机上的我的 redis 服务器不在端口上运行 而是在非常特定的套接字上运行 可以通过套接字文件连接到该套接字 只有我的用户可以访问 但是 我还没有找到如何通过套接字指定连接node redis and connect r

  • 我的 Redis 自动生成的密钥

    我不知道我的 Redis 版本 4 0 9 到底发生了什么 我正在运行一个应用程序并使用 Redis 来存储我的数据库 但是 然后 Redis 自动创建 3 个新键 Backup1 Backup2 Backup3 并删除我的所有数据 这是我

  • 如何在节点redis客户端上设置读取超时？

    在 github 上我没有看到读取超时的选项 https github com NodeRedis node redis https github com NodeRedis node redis There s connect timeo

  • 如何统计 Redis 流中未读或已确认的消息？

    使用 Redis 5 0 3 假设我们创建一个名为streamy和一个消费群体consumers XGROUP CREATE streamy consumers MKSTREAM 然后向其中添加一些消息 XADD streamy messa

  • 是否有可嵌入的 Java 替代 Redis？

    根据这个线程 https stackoverflow com questions 3047010 best redis library for java 如果我想从Java中使用Redis Jedis是最好的选择 然而 我想知道是否有任何库

  • redis-cli 重定向到 127.0.0.1

    我在PC1上启动Redis集群 然后在PC2上连接它 当需要重定向到另一个集群节点时 它会显示Redirected to slot 7785 located at 127 0 0 1 但应该显示Redirected to slot 7785

  • 如何批量删除Redis中数十万个带有特殊字符的key

    我们有一个包含数十万个 Redis 键的列表 其中包含各种特殊字符 我们希望批量删除它们 对于这个问题上的类似问题 有一些很好的答案 如何使用 Redis 自动删除与模式匹配的键 https stackoverflow com questi

  • Caffeine Expiry 中如何设置多个过期标准？

    我正在使用 Caffeine v2 8 5 我想创建一个具有可变到期时间的缓存 基于 值的创建 更新以及 该值的最后一次访问 读取 无论先发生什么都应该触发该条目的删除 缓存将成为三层值解析的一部分 The key is present i

  • 在 Kubernetes/Openshift 中将客户端-服务器流量保持在同一区域的最佳方法？

    我们运行兼容 Kubernetes OKD 3 11 的本地 私有云集群 其中后端应用程序与用作缓存和 K V 存储的低延迟 Redis 数据库进行通信 新的架构设计将在两个地理上分布的数据中心 区域 之间平均划分工作节点 我们可以假设节点

随机推荐

  • Unity3D的四种坐标系

    1 World Space 世界坐标 我们在场景中添加物体 如 Cube 他们都是以世界坐标显示在场景中的 transform position可以获得该位置坐标 2 Screen Space 屏幕坐标 以像素来定义的 以屏幕的左下角为 0

  • Wireshark抓包及DNS报文分析

    Wireshark抓包及DNS报文分析 来来来 点我进行5分钟视频学习 冲冲冲 一 抓包整体描述 第一行 帧Frame 2 指的是要发送的数据块 其中 所抓帧的序号为2 捕获字节数等于传送字节数 696字节 第二行 以太网 有线局域网技术

  • java正则表达式的语法详解及常用方法

    一 实例 今天在实现一个功能时遇到了这样一个问题 及接口传过来一个字符串 我需要判断它是一个区间还是一段文字并对其做分别处理 这里面的问题就在于我怎么去判断区间 按照数学规律区间可分为以下几种情况 M M N N N M N M N N N

  • 计算机网络重点知识（期末考研复习）

    点个关注 更多精彩持续更新为考研和期末助力 一起加油 计算机网络 第一章 思维导图 概述 计算机网络的主要性能指标 计算机网络的体系结构 OSI RM模型 TCP IP 两种模型对比 第二章 思维导图 数据通信主要指标与信道极限容量 多路通

  • java8新特性学习笔记

    使用lambda表达式排序 Collections sort temp String a String b gt return b compareTo a Collections sort temp String a String b gt

  • Camera2拍照时部分机型非常暗

    一 问题描述 1 部分手机在弱光环境下不管什么分辨率 预览和拍出来的照片都非常的暗 2 部分手机在弱光环境下 预览分辨率1920x1080 输出图片分辨率1920x1080时 预览和拍出来的照片亮度比较亮 但是在预览分辨率1920x1080

  • 重现U盘文件

    U盘中毒了 查毒后发现U盘空间还在 但是就是无法查看里面的文件 在 工具 gt 文件夹选项 中设置成 显示系统文件夹中的内容 去掉 隐藏受保护的操作系统文件 推荐 以及设置成 显示所有文件和文件夹 也不能正常显示 最近遇到很多优盘中的文件夹

  • 图像特征提取技术

    目 录 前 言 基于颜色的特征提取 1 颜色空间 2 直方图以及特征提取 基于纹理的特征提取 1 灰度共生矩阵 2 tamura纹理 基于深度神经网络的图像处理 前 言 图像特征提取属于图像分析的范畴 是数字图像处理的高级阶段 本文将从理论

  • SeleniumLibrary4.5.0 关键字详解（三）

    SeleniumLibrary4 5 0 关键字详解 三 库版本 4 5 0 库范围 全局 命名参数 受支持 简介 SeleniumLibrary是Robot Framework的Web测试库 本文档说明了如何使用SeleniumLibra

  • 获取对象Object的长度

    获取对象的长度 obj id 1 id2 1 id3 1 id4 1 id5 1 id6 1 id7 1 id8 1 id9 1 id10 1 let i Object keys this obj length console log i

  • 嵌入式linux 搭建L2TP+IPSEC客户端

    搭建L2TP IPSEC客户端需要对应的源码 xl2tpd 1 3 10和openswan 还需要一些依赖的库 gmp libpcap 一 安装openswan 安装依赖库gmp 6 1 2 1 下载 https gmplib org DO

  • C#操作SqlServer数据库，以及其常用的对象

    C 操作SQL Server数据库 1 概述 ado net提供了丰富的数据库操作 这些操作可以分为三个步骤 第一 使用SqlConnection对象连接数据库 第二 建立SqlCommand对象 负责SQL语句的执行和存储过程的调用 第三

  • 服务器备案问题解决思考？

    大家和我一样有没有在项目上线之后遇到服务器需要备案的问题呢 遇到这个问题的原因 域名没有备案 可是我发现我域名本案后还是无法通过域名直接解析到服务器80端口 所以我百度后发现 服务器竟然也要备案 而且备案步骤 手续与域名备案相比是真的麻烦

  • Docker搭建mysql主从

    目录 1 安装配置master 1 1 运行mysql容器 1 2 更新基础软件和安装vim 1 3 编辑配置文件 1 4 创建用户并授权 用于再主从库之间同步数据 2 slave数据库安装配置 2 1 运行容器 2 2 进入容器内部 2

  • JavaWeb的高级、Listener监听器--Servlet事件

    一 学习目标 1 Listener监听器 2 Listener监听器作用 3 Listener监听器的创建与销毁 二 重点知识 1 Listener监听器 Filter和Listener是Servlet规范中的两个高级特性 不同于Servl

  • vue项目打包后如何本都部署访问

    npm run build生成dist项目后 在windows部署访问 方式一 1 新建一个文件夹 进入目录后打开cmd 输入npm init y 2 输入 npm i express s 是用于在 Node js 项目中安装 Expres

  • 小程序实现微信登录Java后端（一）--前端实现

    目录 一 概述 二 登录流程 三 前端代码 四 解读前端代码 1 登录部分 2 检查当前用户是否已登录 3 小程序启动时校验登录 五 阶段性小结 一 概述 最近终于有时间去搞一下准备参加比赛的小程序 小程序一开始设计的是使用邮箱登录 老师建

  • 剑指offer——输出数组中k个最小值(快速，冒泡，选择，插入）

    找k个最小值 基本思路是对数组排序 输出前k个或者后k个 我们回顾一下之前的学习过的集中排序方法 快速排序 class Solution def GetLeastNumbers Solution self tinput k def quic

  • rust房屋建造蓝图_妄想山海房子建造攻略

    妄想山海这个游戏的一大特色就是玩家可以在游戏里建造属于自己的房屋 而且这个房屋可不是几个图或是简单的3d模型 而是一个完整的房屋呦 玩家可以创作或是收集来的房屋设计图 真实打造 所以在妄想山海里房子的建造还是要花点功夫的 下面讯喵喵就为大家

  • Redis 分布式缓存

    分布式缓存 单点 Redis 的问题及解决 数据丢失 实现Redis数据持久化 并发能力 搭建主从集群 实现读写分离 存储能力 搭建分片集群 利用插槽机制实现动态扩容 故障恢复能力 利用哨兵机制 实现健康检测和自动恢复 RDB RDB全称R

热门标签