Redis的RDB和AOF两种存储方式

2023-11-08

Redis其实就是一个用C语言写的一个程序,这个程序用来存储 key-value数据,数据先放在内存,然后写入磁盘指定位置。

这么理解十分肤浅,但tm好像就是这样啊。

下面我们梳理一下Redis存储两种方式: RDB和AOF

第一种方式:RDB(Redis DataBase)

RDB是将数据写入一个临时文件,持久化结束后,用这个临时文件替换上次持久化的文件,达到数据恢复。

 

在Redis中,默认开启RDB方式进行数据存储,redis.conf中的具体配置参数如下

#dbfilename:持久化数据存储在本地的文件

dbfilename dump.rdb (dump.rdb为存储的文件名,redis通过io流将内存中的数据,写入该文档)

#dir:持久化数据存储在本地的路径,如果是在/redis/redis-3.0.6/src下启动的redis-cli,则数据会存储在当前src目录下

dir ./        

#save时间,以下分别表示更改了1个key时间隔900s进行持久化存储;更改了10个key时间隔300s进行存储;更改10000个key时间隔60s进行存储。

save 900 1

save 300 10

save 60 10000

这里我们可以继续添加,也可以修改参数   比如 save 10 10000  10000个数据时间间隔10s就持久化

使用命令进行持久化save存储:

./redis-cli -h ip -p port save      ./redis-cli -h ip 127.0.0.1 -p 6379 save

./redis-cli -h ip -p port bgsave         ./redis-cli -h ip 127.0.0.1 -p 6379 bgsave

一个是在前台进行存储,一个是在后台进行存储。我的client就在server这台服务器上,所以不需要连其他机器,直接./redis-cli bgsave.

持久化过程:

当满足save的条件时,比如更改了1个key,900s后会将数据写入临时文件,持久化完成后将临时文件替换旧的dump.rdb。(存储数据的节点是到触发时间时的的节点,也就是对Key有个计数)

使用RDB恢复数据:

自动的持久化数据存储到dump.rdb后。实际只要重启redis服务即可完成(启动redis的server时会从dump.rdb中先同步数据),所以说当我们在关停redis服务的时候,只需要在/redis-3.2.12/src目录下查看是否存在dump.rdb,如果存在,则下次启动redis服务的时候,数据会由redis自动恢复。(如果不存在,那一定是配置文件 redis.conf出了错)

接上篇博客,我的RDB方式配置如下:

我的RDB 的dump.rdb存放在/var/redis/data目录下面的

 

第二种方式:AOF(appendonly file)

AOF是将执行过的指令记录下来,数据恢复时按照从前到后的顺序再将指令执行一遍,实现数据恢复。

其中,AOF默认关闭,开启方法,修改配置文件redis.conf:appendonly yes

其他相关配置项:

#AOF保存的文件名

appendfilename "appendonly.aof"   (将执行的指令记录在appendonly.aof文件中)

以下为同步方式相关的配置:

#一旦插入命令,立即同步到磁盘,保证了完全的持久化,但是速度慢,且浪费Redis的性能,不推荐

appendfsync always

#AOF每秒进行同步

appendfsync everysec

#不自动同步,性能最好,但是持久化没有保证

appendfsync no

在此必须说明,fsync是一个命令,在大多数的Linux系统下,每30s就会执行一次fsync,将数据持久化到磁盘,所以这里的appendfsync no其实是交给linux服务器,30s就持久化一次数据;另外,appendfsync everysec  每秒就持久化一次数据,如果数据量在这1s里面非常大呢,redis是持久化不过来的,那么redis就采取的是延迟持久化,会在2s后继续持久化未持久化完成的数据,在appendfsync everysec 每秒持久化的情况下,会造成写阻塞,所以会导致redis存储的数据丢失,这时候就必须采用分布式,让多台redis服务去处理。(由此可以看见,redis存储虽然很强大,但也不是完美无缺的)

存储过程:将快照内容以命令的形式追加到AOF文件中,所以随着追加AOF文件会越来越大

保存的AOF文件存储了执行的所有命令,所以可以进行修改文件来撤销输错的命令(在重写之前,如果重写了就没有办法了)

 

针对AOF文件越来越大的问题,可以对AOF文件进行重写,命令如下:

redis-cli -h ip -p port bgrewriteaof      ./redis-cli -h 127.0.0.1 -p 6379 bgrewriteaof

重写命令的操作过程:在当前的快照保存工作结束后,开启一个子进程,将AOF文件进行重写,合并set命令等操作到一个临时文件,达到缩小文件大小的目的。重写结束后后将临时文件替换为新的AOF文件(重写过程中如果有新的redis操作命令,会提交到缓存中,重写结束后追加到AOF文件内)

 

说明:redis2.4以上版本,重写机制自动触发。触发的相关redis.conf配置如下:

auto-aof-rewrite-percentage 100(当目前的AOF文件大小超过上一次重写文件大小的百分之几时进行重写,如果没有重启过,则以启动时的AOF文件大小为依据);

auto-aof-rewrite-min-size 64mb(允许重写的最小AOF文件大小);

数据恢复:

重启redis服务,前提是配置文件必须设置了appendonly yes,然后会从appendfile的文件加载文件。反之是从RDB中加载数据的。

cluster集群的配置,使用的存储方式就必须是AOF方式。

从appendfile加载数据:我们先来看一下appendfile的内容是什么。下面的一条记录摘取自appendfile:SET $9 olylakers $3 oly。很显,appendfile保存的就是redis server接收到的各种命令,那么从appendfile加载数据就是redis server从appenfile里面读取这些命令的记录,然后重新把这些命令执行一遍即可。需要注意的是,如果开启了VM,那么在从appendfile加载数据的时候可能要涉及swap操作。

从redisdb加载数据:如果没有开启appendonly,那么则需要从db file加载数据到内存,其过程是:

1.通过处理select命令,选择DB

2.然后从db file读取key和value

3.检查key是否过期,如果过期则跳过这个key,如果不过期,则把数据Add到对应的db的dict中

4.如果开启了VM,则从db file中load数据,也可能涉及到swap操作

总结:RDB存储是默认的存储方式,小数量,不在乎是否有并发,数据是否会丢失,安全性最好,占用的空间也最小。AOF方式在分布式下,可应对大量数据处理问题,但也会存在数据丢失。

 

本来第一次编辑得还可以看,但是Csdn尿性瞬间崩溃了,所以这篇博客,排版啥的几乎没有,望见谅!!!

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Redis的RDB和AOF两种存储方式 的相关文章

随机推荐

  • 数据安全之标准-规范-政策-报告 集合收藏

    下载连接 https note youdao com s Xu9Xu0Gz 20230815更新 DB T DB36 T 1713 2022 公共数据分类分级指南 江西 pdf DB31DSJ Z 005 2020 公共数据安全分级指南 上
  • linux系统上insar处理流程,[转载]linux下安装GAMMA软件

    1 保持网络连接状态 2 Linux编译环境安装 一般安装Linux软件前需要大量的库以及相关GNU软件 这样可以避免Linux软件安装或编译出错 将yum 代码复制进终端 若提示需root权限 则先获取root权限 如 cz localh
  • Android 删除文件或文件夹

    删除文件或文件夹 fun delFileOrDir file File if file exists return if file isDirectory 递归删除文件夹里的文件 file listFiles forEach delFile
  • 学生成绩管理系统

    学生实体 属性由学号 姓名 性别 出生日期 地区 民族组成 班级实体 属性由班级编码 班级名称 院系 年级 人数组成 课程实体 属性由课程号 课程名 学分 学时 学期 前置课组成 学时实体选择课程实体 属于多对多关系 学生事宜属于班级实体
  • Vue中使用vuex(五)

    vuex的模块化 命名空间 1 目的 让代码更好维护 让多种数据分类更加明确 2 创建person js import axios from axios import nanoid from nanoid export default na
  • C# Namespace详解

    我现在感到学好C 就是就是要知道C 的基本语法 C 的新的特点 C 能干什么 其中我感到不管如何 NAMESPACE都是很关键的 可以说不是只对C 而言 而是整个 NET都是由NAMESPACE组成的 所以我在看了C 的基本语法后 就直奔N
  • Android常用知识点总结

    一 选择题 1 Android项目中的主题和样式资源 通常放在 C 目录 A res drawable B res layout C res values D assets 2 Dalvik虚拟机属于Android系统架构中的 C A 应用
  • Torchvision.ops.batched_nms() 和 nms()区别

    区别 batched nms 根据每个类别进行过滤 只对同一种类别进行计算IOU和阈值过滤 nms 不区分类别对所有bbox进行过滤 如果有不同类别的bbox重叠的话会导致被过滤掉并不会分开计算 Torchvision ops nms 参数
  • 干货!人体姿态估计与运动预测

    点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入 我们人类具有识别人体姿态 预测短期未来的能力 例如在走路时我们会识别对向行人的姿态 根据对他们未来运动的预测来决定往左走还是往右走 在打篮球或踢足球时会根据对防守球员的姿态 运动
  • ASP.NET Core学习路线图

    说明 1 先决条件 C https www pluralsight com paths csharp Entity Framework https www pluralsight com search q entity 20framewor
  • 最新的ssm毕业设计题目50例

    ssm毕业设计题目1 10题 1 基于SSM的车险管理系统设计与实现 2 基于SSM框架的学子商城系统的设计与实现 3 基于SSM的高校排课系统的研究与应用 4 基于SSM的湖南省入境旅游客源市场结构分析 5 基于SSM模型的重庆制造业主导
  • VOSviewer安装及配置

    VOSviewer安装网址 VOSviewer Download 根据自己电脑安装 并且VOSviewer要求JAVA 使用的是1 8 0 https www oracle com technetwork java javase downl
  • 关于maven <dependencyManagement>标签的问题

    项目场景 我giao 大家好跟大家分享一个使用maven时发现的小问题 关于父工程pom文件中 dependencyManagement 标签的问题 问题描述 在新建夫工程pom文件时 在内部的依赖不会马上到中央仓库中去下载jar包 而是在
  • 李宏毅-DeepLearning-2017-Unsupervised Learning:Neighbor Embedding

    数据降维的方法 Manifold Learning 流行学习 1 什么是流形 流形学习的观点 认为我们所能观察到的数据实际上是由一个低维流行映射到高维空间的 由于数据内部特征的限制 一些高维中的数据会产生维度上的冗余 实际上这些数据只要比较
  • 将一台笔记本电脑作为另一台笔记本电脑的扩展显示器

    步骤 步骤1 打开设置 可以使用 快捷键win i 打开设置 然后点击 系统 步骤2 点击 投影到此电脑 可以看到右边的选项是灰色 不可以选 然后点击 可选功能 如果是可选的 可以跳过步骤4 步骤3 查找是否安装了 无线显示器 如果没有安装
  • 【机器学习】Tensorflow概率编程:线性混合模型

    线性模型是我们最常见到的 最理想的数学模型 基本的线性模型是数据科学入门的基本案例 然而现实生活中的线性问题 很大几率不适用于基本的线性模型 需要使用线性混合模型来描述 Tensorflow edward提供对这类问题的解决方案 大部分数据
  • 记一次文件因content-type问题无法打开的经历

    记一次文件因content type问题无法打开的经历 引 场景 方案 Jsoup的Content Type simplemagic file can t open 流不可重复消费问题 Tika 总结 引 在Http请求头和响应头都有这个a
  • 什么是 Scrum 工件?

    What is Scrum Artifacts 随着我们的技术系统和项目在规模和复杂性方面不断发展 Scrum 会议和敏捷方法已成为许多公司开发过程中不可或缺的一部分 Scrum 会议是团队成员协作的好方法 可确保队列中的所有项目和任务都得
  • IBM RATIONAL BUILDFORGE入门

    最近在项目中使用了BUILDFORGE作为自动化部署工具进行项目的自动化部署 在此写下自己在该工具中入门的心得 1 首先需要建立服务器认证 可以为多台服务器设置相同的一个服务器认证 用该认证中的用户名和密码去登录服务器 2 其次建立服务器
  • Redis的RDB和AOF两种存储方式

    Redis其实就是一个用C语言写的一个程序 这个程序用来存储 key value数据 数据先放在内存 然后写入磁盘指定位置 这么理解十分肤浅 但tm好像就是这样啊 下面我们梳理一下Redis存储两种方式 RDB和AOF 第一种方式 RDB