深入学习 Redis - 分布式锁底层实现原理,以及实际应用

2023-11-11

目录

一、Redis 分布式锁

1.1、什么是分布式锁

1.2、分布式锁的基础实现

1.2.1、引入场景

1.2.2、基础实现思想

1.2.3、引入 setnx

1.3、引入过期时间

1.4、引入校验 id

1.5、引入 lua 脚本

1.5.1、引入 lua 脚本的原因

1.5.2、lua 脚本介绍

1.6、过期时间续约问题(看门狗 Watch Dog)

1.7、引入 redlock 算法

1.8、分布式锁扩展


一、Redis 分布式锁


1.1、什么是分布式锁

锁就是用来解决线程安全的,分布式锁又是什么呢?

之前所学过的 synchronized 本质上都是只能在一个进程内部生效的,而在分布式系统中,是有很多进程的(每个服务器都是一个独立的进程),多个进程之间的执行顺序也是不确定的(随机的 ),之前的锁,就很应对分布式系统中多个进程之间产生的制约.

因此,就需要引入 “分布式锁” 来解决上述问题.

分布式锁本质上就是一个公共的服务器,用来记录锁的状态。

Ps:这个公共的服务器可以是Redis, 也可以是其他组件(比如 MySQL 或者 ZooKeeper 等), 还可以是我们自己写的⼀个服务

1.2、分布式锁的基础实现

1.2.1、引入场景

想象这样一个场景:买车票.

实现思路:先查询剩余票数,如果剩余票数 > 0,则设置剩余票数 -= 1.

在没有引入分布式锁之前,就有可能出现以下买票场景:

客户端1 先执行查询余票,发现剩余 1 张,在即将执行 剩余票数 -= 1 过程之前,客户端2 也执行了查询余票,发现也是剩余 1 张,客户端2  也会执行 剩余票数 -= 1. 的过程.

这里就出现了 “超卖” 的场景!!!1 张票,卖给了两个人.

1.2.2、基础实现思想

分布式锁的实现思路很简单,本质上是使用一个/一组 单独的服务器程序,通过用一个键值对来标识锁的状态,来给其他服务器提供 “加锁” 这样的服务.

对于上述场景,进行买票操作过程中,就需要先加锁.

具体的,往 redis 上设置一个特殊的 key - value,接着完成买票操作,再把这个 key - value 删除掉.  如果在 客户端1 买票的期间,客户端2 也想去买票,就也会尝试设置 key - value,如果发现  key - value 已经存在,就分为 “加锁失败”(是放弃还是阻塞,就要看具体的实现策略了).

这样就保证了 第一个服务器执行 “查询 -> 更新” 过程中,第二个服务器不会执行 “查询” ,也就解决了上述 “超卖” 问题.

Ps:买票的场景使用 mysql 的事务,也可以批量执行 查询 + 修改 操作. 但是分布式系统中,要访问的共享资源不一定是 mysql ....... 也可能是其他存储介质,没有事务. 也可能是执行一段特定的操作,是通过统一的服务器完成指定动作.

1.2.3、引入 setnx

针对于刚刚买票的场景:“key 不存在就设置成功,不存在就设置失败”. 使用 setnx 就可以达到 “加锁” 的效果. 针对解锁,就可以使用 del 命令来完成.

如果某个服务器,加锁成功了(setnx 成功),执行后续逻辑中,还没来得及执行 “解锁” 程序就崩溃了,怎么办?

以前在一个进程中,为了保证解锁的操作能执行到,可以把解锁的操作放到 finally 中,但是这种做法,只是针对进程内的锁有效,针对分布式锁,无效!

比如,服务器直接掉电,进程直接异常终止,这就会导致 redis 上设置的 key 无人删除,也就导致其他服务器无法获取到锁了.

1.3、引入过期时间

针对上述 “没来得及解锁,服务器宕机的情况”,我们可以给 key 设置一个过期时间.

通过 set ex nx 这样的命令完成设置,一旦时间到了,key 就会自动被删除掉.

比如,设置 key 的过期时间,为 1000ms,那么即使出现极端情况,某个服务器挂了,没有真正释放锁,这个锁最多保持 1000ms,也就自动释放了.

 可以通过先 setnx ,再使用 expire 的方式设置过期时间么?

不可以!!!务必要使用 set ex nx 的方式来设置!

redis 上多个命令之间,无法保证原子性,即使使用 事务,也不能保证这两个操作都能成功(redis 的事务只能保证不被 “插队”,不能保证操作成功). 此时就有可能出现 setnx 成功,expire 失败的场景.

1.4、引入校验 id

所谓锁,就是 redis 上的普通键值对.

所谓加锁,就是给 redis 上设置一个 key - value.

所谓解锁,就是把 redis 上这个 key - value 删除掉.

是否可能出现 服务器1  执行了加锁,服务器2 执行了解锁?

正常来说,肯定不是故意的,但是代码总会有 bug,不小心执行了解锁操作,就让这锁形同虚设,带来严重后果(比如 超卖).

为了解决上述问题,就需要引入一点校验机制.

具体的,如下步骤:

1. 给服务器编号,让每个服务器都有一个自己的身份标识.

2. 进行加锁的时候,设置 key - value, key 就表示要针对哪个资源加锁,value 就表示服务器的编号.

后续在解锁的时候,就可以进行校验了.  解锁的时候,先查询一下这个锁对应的服务器编号,然后判定这个编号是否就是当前执行解锁的服务器编号,如果是,才真正执行 del,如果不是,就失效.

通过上述操作,就可以有效避免 “误解锁”.

1.5、引入 lua 脚本

1.5.1、引入 lua 脚本的原因

一个服务器内部,也可能是多线程的. 此时,就可能两个线程都在执行 “解锁” 操作.

例如如下场景: 

首先我们知道,解锁的操作分为两步,先通过 GET 服务器编号进行校验,校验成功后在进行 DEL.

在 服务器1 中,线程A 执行 GET 后 线程 B 也执行 GET,然后 线程A 执行 DEL 解锁,此时 线程 B 也执行 DEL 解锁.

上述情况,看起来好像重复执行 DEL 好像问题不大?实则不然!

如果此时还有一个服务器,执行加锁,就可能出问题了.

在 线程A 执行完 DEL 之后,线程 B 执行 DEL 之前,服务器2 的 线程C 正好要执行 加锁(set ex nx),此时,由于 A 已经解锁了,C 的加锁能成功,但是紧接着,线程 B DEL 就来了,就把 服务器2 刚刚的加锁操作给解除了.

归根结底,还是因为 get 和 del 不是一条原子操作产生的问题.

使用事务,虽然可以解决上述问题(redis 事务虽然弱,但是能够避免插队),但是实践中,往往使用更好的方案 —— lua 脚本.

1.5.2、lua 脚本介绍

lua 语言特别轻量(实现一个 lua 解释器,消耗的体积非常小),可以使用 lua 编写一些逻辑,把这个脚本上传到 redis 服务器上,然后就可以让客户端来控制 redis 执行上述脚本了.

最重要的一点就是,redis 执行一个 lua 脚本,就相当于在 redis 上执行一个命令一样,是原子的. 并且 redis 官方文档中也明确说,lua 就属于是 事务 的替代方案.

例如前面的 “买票” 案例.

if redis.call('get',KEYS[1]) == ARGV[1] then 
    return redis.call('del',KEYS[1]) 
else 
    return 0 
end;

ARGV[1]:表示调用脚本给定的参数,此处要传入一个服务器的 id.

如果 id 和 get 到参数匹配,就进行删除操作.

1.6、过期时间续约问题(看门狗 Watch Dog)

加锁的时候,给 key 设定 过期时间,设置成多少合适?

  • 如果设置的时间过短,就可能在 业务逻辑 还没有执行完,就释放锁了.
  • 如果设置的时间太长,就可能导致 “锁释放的不及时” 的问题.

最好的方式就是 “动态续约”.

具体的,初始情况下,设置一个过期时间(比如 1s),在还剩 300ms 的时候(这里的时间不一定是 300ms,数据灵活调整),如果当前任务还没有执行完,就把过期时间续上 1s,等到时间快到了,任务还没执行完,就再续(无限续杯)~

上述过程中,如何知道当前任务还没有执行完,要进行续杯呢?实际上,服务器这边有一个专门的线程,负责续约这个事情,这个线程也叫做 “看门狗”(这是一个比较广义的概念,很多涉及到过期时间的操作都会引入 “看门狗” ).

这样,即使服务器中途崩溃了,没人负责续约了,锁也能在短时间内自动释放.

这就好比,吃自助餐,老板都是鼓励大家,每次少拿点,少量多次~  怕的就是你一次拿太多,吃不完,大部分都剩下了. 如果每次少拿点,即使吃不下了,浪费的也不多了.

1.7、引入 redlock 算法

使用 redis 作为分布式锁,redis 本身有没有可能挂了呢?

是很有可能的!

实际工作中的 redis 都是以集群的方式部署的(至少是主从,不会是单机),那么就有可能出现以下大冤种的情况:

服务器1 向 master 节点进行加锁操作. 这个写⼊ key 的过程刚刚完成, master 挂了; slave 节点升级成了新的 master 节点. 但是由于刚才写⼊的这个 key 尚未来得及同步给 slave(主节点和从节点之间的数据同步,是存在延迟的), 此时 就相当于服务器1 的加锁操作形同虚设了, 服务器2 仍然可以进行加锁.

为了解决以上问题,就提出了 redlock 算法(redis 作者给出的方案)

  1. 此处加锁,就是按照一定的顺序,针对这组 redis 都进行加锁操作. 
  2. 如果某个节点加不上锁,没关系,可能是 redis 挂了,继续给下一个节点加锁即可.
  3. 如果写入 key 成功的节点个数超过总数的一半,就视为 加锁成功.
  4. 同理,进行解锁的时候,也会把上述节点都解锁一遍.

1.8、分布式锁扩展

上面介绍的只是简单的 “互斥锁”.

锁这里还涉及到一些其他情况:

1.  读写锁.

2.  公平锁.

3.  可重入锁

........

基于 redis 也可以实现上述锁的特性,这里大家下来可以自己尝试实现以下~

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

深入学习 Redis - 分布式锁底层实现原理,以及实际应用 的相关文章

  • 是否可以使用带有 FUSE 文件系统的 Linux VFS 缓存?

    默认情况下 Linux VFS 缓存似乎不适用于 FUSE 文件系统 例如 read 调用似乎被系统地转发到 FUSE 文件系统 我在 FUSE 特定的远程文件系统上工作 我需要一个非常积极的缓存 我需要实现自己的页面缓存吗 或者是否可以为
  • 连接到 localhost:6379 时出现错误 99。无法分配请求的地址

    设置 我有一个虚拟机 并在虚拟机中运行三个容器 一个 nginx 代理 一个非常简约的 Flask 应用程序和 redis Flask 应在端口 5000 上提供服务 而 redis 应在 6379 上提供服务 这些容器中的每一个都可以作为
  • Redis 写入 .ssh/authorized_keys

    当前设置 2 个主服务器 12 个工作服务器 工作人员通过 ssh copy id 连接到主设备 主设备和工作人员正在主设备上的 redis 队列中写入数据 过去一周我遇到的问题是 Redis 正在将数据写入authorized keys
  • socket.io redis 和内存泄漏

    我的socket io版本是 电子邮件受保护 cdn cgi l email protection and 电子邮件受保护 cdn cgi l email protection 我在 Windows 上 在某些地方 我看到问题已得到解决 我
  • 如何从 python 将无穷大传递给 redis?

    我正在使用 redis py 并希望将 inf 和 inf 与 ZRANGEBYSCORE 一起使用 我尝试使用 inf 的字符串和浮点来执行此操作 但它们返回一个空集 我怎样才能做到这一点 EDIT 我尝试执行以下命令 redis Str
  • connect-redis - 如何保护会话对象免受竞争条件影响

    我使用 nodejs 和 connect redis 来存储会话数据 我将用户数据保存在会话中 并在会话生命周期中使用它 我注意到两个更改会话数据的请求之间可能存在竞争条件 我尝试过使用 redis lock 来锁定会话 但这对我来说有点问
  • 我的 Redis 自动生成的密钥

    我不知道我的 Redis 版本 4 0 9 到底发生了什么 我正在运行一个应用程序并使用 Redis 来存储我的数据库 但是 然后 Redis 自动创建 3 个新键 Backup1 Backup2 Backup3 并删除我的所有数据 这是我
  • 如何在节点redis客户端上设置读取超时?

    在 github 上我没有看到读取超时的选项 https github com NodeRedis node redis https github com NodeRedis node redis There s connect timeo
  • Docker-compose Predis 不通过 PHP 连接

    我正在尝试使用 docker compose 将 PHP 与 redis 连接 docker compose yml version 2 services redis image redis 3 2 2 php image company
  • 如果另一个键中的计数器低于零,则从集合中原子删除一个项目?

    雷迪斯2 0 3 在我的 Redis DB 中 我有一组项目 每个项目都有一个与其关联的计数器 MULTI SADD items set foo INCRBY items foo 10000 EXEC 新项目会以随机间隔添加到集合中 当用户
  • 从redis中检索大数据集

    一台服务器上的应用程序查询另一台服务器上运行的 Redis 查询的结果数据集约为 250kzrangebyscore objects locations inf inf这在应用程序服务器上似乎需要 40 秒 当使用命令执行时redis cl
  • Caffeine Expiry 中如何设置多个过期标准?

    我正在使用 Caffeine v2 8 5 我想创建一个具有可变到期时间的缓存 基于 值的创建 更新以及 该值的最后一次访问 读取 无论先发生什么都应该触发该条目的删除 缓存将成为三层值解析的一部分 The key is present i
  • SignalR 无法连接到 SSL 上的 Azure Redis

    我目前在 Azure 上托管我的 redis 缓存服务器 并让 signalR 依赖它作为骨干 使用以下内容 GlobalHost DependencyResolver UseRedis 服务器 端口 密码 eventKey 这可以在端口
  • 如何设置和获取Redis中存储的对象?

    我试图在 redis 中存储一个对象 当我获取该对象时 它似乎不起作用 I tried u User new u name blankman redis set test u x redis get test x name error 我想
  • 如何在Redis中从hmset()切换到hset()?

    我收到弃用警告 即 Redis hmset 已弃用 请改用 Redis hset 但是 hset 采用第三个参数 我不知道是什么name应该是 info users 10 timestamp datetime utcnow strftime
  • Redis、会话过期和反向查找

    我目前正在构建一个网络应用程序 并想使用 Redis 来存储会话 登录时 会话会使用相应的用户 ID 插入到 Redis 中 并且过期时间设置为 15 分钟 我现在想实现会话的反向查找 获取具有特定用户 ID 的会话 这里的问题是 由于我无
  • StackExchange.Redis的正确使用方法

    这个想法是使用更少的连接和更好的性能 连接会随时过期吗 对于另一个问题 redis GetDatabase 打开新连接 private static ConnectionMultiplexer redis private static ID
  • 为什么Redis中没有有序的hashmap?

    Redis 数据类型 http redis io topics data types包括排序集 http redis io topics data types intro sorted sets以及其他用于键值存储的必要数据结构 但我想知道
  • Scala 使用的 Redis 客户端库建议

    我正在计划使用 Scala 中的 Redis 实例进行一些工作 并正在寻找有关使用哪些客户端库的建议 理想情况下 如果存在一个好的库 我希望有一个为 Scala 而不是 Java 设计的库 但如果现在这是更好的方法 那么仅使用 Java 客
  • 使用redis进行树形数据结构

    我需要为基于树的键值开发一个缓存系统 与Windows注册表编辑器非常相似 其中缓存键是字符串 表示树中到值的路径 可以是原始类型 int string bool double 等 或子树本身 例如 key root x y z w val

随机推荐

  • 如何查看和修改linux系统的字符集

    查看系统的字符集 通过locale命令查看系统支持的字符集 这个是很干净的一个系统 root master locale a C en US utf8 POSIX 还有这种对字符集支持比较好的 root master yt locale a
  • lock锁

    目录 1 lock 基本用法 2 lock公平锁与非公平锁 3 lock注意事项 4 synchronized 与 lock区别 1 lock 基本用法 lock lock try finally lock unlock 或者 try lo
  • Vue中element组件Pagination跳转到第二页后搜索功能失效

    在写组件分页功能遇到一个bug 当点击到除第一页以外 搜索功能失效 解决方法是在搜索函数中加上this page 1 如果搜索是空值显示数据 searchKeyFun2 value this page 1 设置搜索页面到第一页 this s
  • 18.1. Fabric2.2 区块链农产品溯源系统 - 多Peer部署(扩展)

    这是一篇后补文章 看时间大家能够看出来 通过前面的学习 大家知道如何增加组织 如何部署多Orderer 本节介绍如何在一个组织内部署多个Peer节点 本节是基于上一节操作的继续 脚本也是基于上节进行修改的 1 目标 为组织1新增一个节点 p
  • 微信支付开发——多种支付

    微信提供了好多种的支付产品 本文要讲解的是我在实际开发中用的几种 JSAPI支付 NATIVE支付 扫码支付 H5支付 小程序支付 微信提供的各种支付方式 只要了解一种 其他几种支付差别不大 其中不管是哪种支付 都需要调用统一的一个接口 微
  • STM32的USART发送中断标志位USART_IT_TXE和USART_IT_TC

    与STM32的发送中断相关的标志位有USART IT TXE和USART IT TC 根据ST芯片手册的信息可知 USART在发送移位寄存器 Transmit Shift Register 前面 还有一个TDR Transmit data
  • C#多线程开发总结

    1 关闭Form窗体进程还在的问题方法一 Thread IsBackground true 方法二 System Environment Exit 0 方法三 FormClosing方法内手动释放所有托管资源 注意 强行关闭时都要做好全局未
  • IDEA 如何设置和修改项目属性?

    找到project structure按钮 1 点击界面上的project structure按钮或者使用快捷键ctrl alt shift s打开工程设置页 END 设置project默认的jdk和java语言级别
  • PHP 合成图片并在图片上加文字

    Info PHP把一张图片作为背景和另一张图片合成新图片 public function createImage path 1 XXXXX attachment images 20200801 4d8e641215b9ed593298ff6
  • 域名系统几类服务器,域名服务器可分为什么类型

    域名服务器是进行域名 domain name 和与之相对应的IP地址 IP address 转换的服务器 DNS中保存了一张域名 domain name 和与之相对应的IP地址 IP address 的表 以解析消息的域名 把域名翻译成IP
  • 使用axios.post()传递多个参数时出现中文乱码问题

    方式一 var vm new Vue el app data id name age methods getStudentInf axios post servelt02 do 处理路径 id a0022 name 李思思 传递的参数 这是
  • 基于蚁群算法的障碍物路径搜索算法的MATLAB仿真

    基于蚁群算法的障碍物路径搜索算法的MATLAB仿真 障碍物路径搜索是一个重要的问题 在许多实际应用中都有广泛的应用 例如无人机路径规划 机器人导航等 蚁群算法是一种基于蚂蚁觅食行为的启发式优化算法 被广泛应用于解决路径搜索问题 本文将介绍如
  • 部署记录laravrl

    500错误 检查环境变量 putenv函数解禁 pathinfo扩展 yarn prod 生成前端资源 iseed table name 数据表生成seeder文件 composer install 出错时 错误信息有详细介绍 缺少path
  • DNS协议及其工作原理

    DNS是域名系统 Domain Name System 的缩写 它是一种用于将域名转换为IP地址的分布式数据库系统 它是因特网的基石 能够使人们通过域名方便地访问互联网 而无需记住复杂的IP地址 DNS的历史可以追溯到1983年 当时因特网
  • ATLASSIAN CONFLUENCE 远程代码执行漏洞(CVE-2022-26134)漏洞复现

    一 漏洞概述 近日 Atlassian官方发布了Confluence Server和Data Center OGNL 注入漏洞 CVE 2022 26134 的安全公告 远程攻击者在未经身份验证的情况下 可构造OGNL表达式进行注入 实现在
  • 申请苹果开发者账号的方法

    1 打开苹果id注册地址 输入相关信息注册 如果已经有苹果账号了看第二步 https appleid apple com account localang zh CN 2 注册成功了 或者有苹果账号了 登录苹果开发者中心 https dev
  • 小程序的节流防抖函数

    小程序的节流防抖函数 首先在util js中定义节流防抖的方法 函数节流 时间差 如果interval不传 则默认300ms function throttle fn interval var enterTime 0 触发的时间 var g
  • TOWE一转二家用无线遥控插座,让生活变得简单

    随着科技的进步 人们的生活方式正在发生改变 越来越多的智能家居产品进入我们的生活中 为我们的生活带来了极大的便利 无线遥控插座作为一种集成了无线遥控技术与插座功能的创新产品 在家庭 办公 商业场景有着广泛的应用 同为科技 TOWE 一转二家
  • kali-linux学习笔记及经验总结(持更)

    首先 Kali liux是什么 说白了就是一个linux操作系统 它与其它的Linux系统最大的不同就是它预装了14大类 如下图 300多个安全测试和渗透软件 包括大名鼎鼎的NMap 端口扫描器 Wireshark 数据包分析器 Aircr
  • 深入学习 Redis - 分布式锁底层实现原理,以及实际应用

    目录 一 Redis 分布式锁 1 1 什么是分布式锁 1 2 分布式锁的基础实现 1 2 1 引入场景 1 2 2 基础实现思想 1 2 3 引入 setnx 1 3 引入过期时间 1 4 引入校验 id 1 5 引入 lua 脚本 1