分布式缓存的切片模式-hash一致性切片

2023-11-17

一 为什么使用缓存

当前,我们通常使用Redis缓存,因为它有更多的数据类型,并且支持事物。之所以要使用缓存,是为了缓解查询数据库时的IO压力,我们将经常查的热点数据放到缓存里(内存中),当然比存在磁盘上的mysql数据库快了。

二 为什么使用分布式

那为什么要使用分布式架构呢?第一就是解决一台redis服务器容量不一定够啊,那无限扩容不行吗?当然不行,难道每次容量不够了就换一台容量更大的redis服务器?另外如果押宝在一台缓存数据库上,如果它坏了,岂不是gg?综上所述,分布式缓存就来啦

三 使用什么模式

部署分布式架构时有很多模式,这里主要介绍两种:主从复制模式,切片模式。
所谓主从复制模式/主从备份模式,很简单,例如设置一个主库,两个从库,进行写操作时对主库进行操作,主库自动同步,进行读操作时从从库读。想必大家可以看出来,这样很费容量,无法起到缓解内存大小压力的作用。
另一种模式就是切片模式,什么是切片模式,很简单,每一个数据用hash算法算完后对库数取模,放到对应的库中,这样每一个库都可以得到使用,即便挂了一个库也不会完全停摆。

四 常规切片模式的弊端

我们在开发一个项目时,扩展性是我们考虑的重点,部署数据库时也是一样。对于我们的项目,考虑到热点数据量可能超过我们当前的几个缓存数据库的总容量是有可能发生的,我们必然要增加更多数据库,但是按照切片模式的规则,一旦增加一个数据库,每个数据库保存的数据都可能要进行迁移,如果数据量过大,这一瞬间产生的数据移动就够系统喝一壶了,更别说redis数据库还是单线程的,如果大量被占用处理这件事,其他操作必然会遭到滞后。

五 更加犀利的切片模式-hash一致性切片

在这里插入图片描述
使用hash一致性算法,例如这个圆环上一共2^32个节点,我们将对数据库的ip和序号进行hash,放到这些节点中的一个里,当有数据时对数据进行hash,也放到某个节点,如上图
椭圆的是数据库,圆形的是数据,我们将当前数据库前那一部分数据放进当前数据库,如图中颜色标记,当我们增加一个数据库Redis3,如下图:
在这里插入图片描述我们不再需要移动所有数据,而只是将原本应该放进Redis1中的两个标红数据放进Redis3,完美!!!但是,真的完美吗?

六 不完美的数据倾斜以及解决方案

6.1 数据倾斜

我们看到在第一幅图中,大部分数据被放进Redis1,少部分数据被放入Redis2中,不均匀了,这会导致每个数据库不能充分利用,旱的旱死,涝的涝死,这就是数据倾斜。

6.2 解决办法

解决办法很简单,给每个数据库创建n个副本,如下图:
在这里插入图片描述这里需要注意,虽然创建多个副本,但并不意味着数据库数量增加了,只是逻辑上数据被这两个数据库均匀的瓜分了。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

分布式缓存的切片模式-hash一致性切片 的相关文章

随机推荐

  • 与窗口大小无关的图像滤波算法

    问题 一幅24位彩色图像 其上有一些红色区域 这些区域都是相连的 为了将图像中红色且相连的部分分离出来 使用如下算法 对单个像素进行判断 若满足R 10 gt G且R 10 gt B 那么就认为该像素呈红色 因为图像原因 可能在某个位置孤立
  • spingboot+layui+poi实现excel导入功能,并批量插入数据库

    1 maven的pom文件添加下面jar包
  • 堆(Heap-线程共享)-运行时数据区

    是被线程共享的一块内存区域 创建的对象和数组都保存在 Java 堆内存中 也是垃圾收集器进行 垃圾收集的最重要的内存区域 由于现代VM采用分代收集算法 因此Java堆从GC的角度还可以 细分为 新生代 Eden 区 From Survivo
  • 2023深圳杯C题

    专栏内已发布ABCD篇 论文 思路 代码 只需订阅一次 目录 无人机协同避障航迹规划 摘要 一 问题重述 1 1 背景
  • 10分钟搞懂遗传算法

    大自然有种神奇的力量 它能够将优良的基因保留下来 从而进化出更加强大 更加适合生存的基因 遗传算法便基于达尔文的进化论 模拟了自然选择 物竞天择 适者生存 通过N代的遗传 变异 交叉 复制 进化出问题的最优解 遗传算法看似神奇 但实现思路却
  • ERROR 1045 (28000): Access denied for user ‘ODBC‘@‘localhost‘ (using password: NO)

    ERROR 1045 28000 Access denied for user ODBC localhost using password NO 这个问题是由于密码错误导致的 一般是要重置密码 可以修改my ini配置文件 1 用记事本打开
  • C语言中数组名和&数组名的区别

    C语言中数组名和 数组名的区别 include
  • 迁移学习源码全注释 - 《Tensorflow 实战 Google 深度学习框架》源码注释

    学习迁移学习源码 做了完全版本注释 以做记录 coding utf 8 Created on Mon Dec 25 12 30 25 2017 需要提前下载训练好的 Inception V3模型 以及对应的数据文件 author Admin
  • Linux - CentOS 6 安装 JDK

    安装步骤如下 1 下载jdk1 7 0 55 jdk 7u55 linux i586 tar gz 2 卸载系统自带的开源JDK 查看是否安装JDK rpm qa grep java 显示如下信息 存在 执行下面代码删除 rpm e jav
  • 智能营销增益模型(Uplift Modeling)实践整理

    一 uplift 思想 因果推断 常用的点击率预测模型 称为响应模型 response model 即预测用户看到商品 Treatment 后点击 购买 的概率 但在营销的发放优惠券这种场景下 很自然会想到 用户是本来就有购买的意愿还是因为
  • Java代码写好后怎么运行?

    对于很多Java初学者来说 编写好自己的第一个程序能够运行起来是一件非常自豪的事情 那么你知道应该如何才能运行Java代码吗 今天小千就来给大家介绍一下 Java代码运行方法 1 首先需要确保你的电脑正确安装了Java环境并且环境变量都配置
  • 设计模式的六大原则

    目的 高内聚 低耦合 基于 对接口编程而不是对实现编程 优先使用对象组合而不是继承 1 开闭原则 Open Close Principle 开闭原则的意思是 对扩展开放 对修改关闭 在程序需要进行拓展的时候 不能去修改原有的代码 实现一个热
  • STM32 PWM捕获方式:两种思想

    一 利用系统自带PWM捕获 1 代码 初始化 c include capture h include stm32f10x h void Capture Init PA7 gt TIM3 CH2 GPIO InitTypeDef GPIO I
  • springboot性能优化

    SpringBoot性能调优有三种方案 SpringBoot 是一个快速开发框架 能够快速的整合第三方框架 简化XML配置 全部采用注解形式 内置Tomcat容器 帮助开发者能够实现快速开发 SpringBoot的Web组件 默认集成的是S
  • 软件测试:白盒测试

    一 定义 白盒测试又称结构测试 透明盒测试 逻辑驱动测试或基于代码的测试 白盒测试是一种测试用例设计方法 盒子指的是被测试的软件 白盒指的是盒子是可视的 白盒 法全面了解程序内部逻辑结构 对所有逻辑路径进行测试 白盒 法是穷举路径测试 在使
  • webpack5搭建vue环境

    webpack5搭建vue环境 0 前言 安装 webpack webpack cli 开始我是全局安装进行测试 后期项目中最好用局部安装 不同项目使用的版本不同 熟悉 npm基本命令确保npm可以使用 1 webpack概念 中文官网 h
  • SQL语句的MINUS,INTERSECT和UNION ALL

    SQL语句中的三个关键字 MINUS 减去 INTERSECT 交集 和UNION ALL 并集 关于集合的概念 中学都应该学过 就不多说了 这三个关键字主要是对数据库的查询结果进行操作 正如其中文含义一样 两个查询 MINUS是从第一个查
  • vue实现下载文件和图片功能

    vue实现图片或文件下载功能 今天一个需求就是实现图片下载功能 刚开始以为很简单没有什么逻辑可写 就以为调用后端接口就可以了 调用之后发现有问 题 看来还是没有想象的那么简单 1 要自己创建一个a标签 以下就是下载功能的实现 这里是调用接口
  • 2.4 HTTP请求方法

    在客户端向服务器端发送请求时 需要确定使用的请求方法 请求方法表明对URL指定资源的操作方式 服务器会根据不同的请求方法进行不同的响应 在HTTP 1 1中 共定义了8种请求方法 具体如下 GET 请求指定的内容并返回 POST 向指定资源
  • 分布式缓存的切片模式-hash一致性切片

    文章目录 一 为什么使用缓存 二 为什么使用分布式 三 使用什么模式 四 常规切片模式的弊端 五 更加犀利的切片模式 hash一致性切片 六 不完美的数据倾斜以及解决方案 6 1 数据倾斜 6 2 解决办法 一 为什么使用缓存 当前 我们通