leveldb之log文件

2023-05-16

                                                                                        leveldb之log文件

1.    log文件在LevelDb中的主要作用是系统故障恢复时,能够保证不会丢失数据。因为在将记录写入内存的Memtable之前,会先写入Log文件,这样即使系统发生故障,Memtable中的数据没有来得及Dump到磁盘的SSTable文件,LevelDB也可以根据log文件恢复内存的Memtable数据结构内容,不会造成系统丢失数据.

2.   LevelDb对于一个log文件,会把它切割成以32K为单位的物理Block,每次读取的单位以一个Block作为基本读取单位,下图展示的log文件由3个Block构成,所以从物理布局来讲,一个log文件就是由连续的32K大小Block构成的。      

3. 在应用的视野里是看不到这些Block的,应用看到的是一系列的Key:Value对,在LevelDb内部,会将一个Key:Value对看做一条记录的数据,另外在这个数据前增加一个记录头,用来记载一些管理信息,以方便内部处理,图3.2显示了一个记录在LevelDb内部是如何表示的。 记录头包含三个字段,ChechSum是对“类型”和“数据”字段的校验码,为了避免处理不完整或者是被破坏的数据,当LevelDb读取记录数据时候会对数据进行校验,如果发现和存储的CheckSum相同,说明数据完整无破坏,可以继续后续流程。“记录长度”记载了数据的大小,“数据”则是上面讲的Key:Value数值对,“类型”字段则指出了每条记录的逻辑结构和log文件物理分块结构之间的关系,具体而言,主要有以下四种类型:FULL/FIRST/MIDDLE/LAST。    

 4. 如果记录类型是FULL,代表了当前记录内容完整地存储在一个物理Block里,没有被不同的物理Block切割开;如果记录被相邻的物理Block切割开,则类型会是其他三种类型中的一种。我们以图3.1所示的例子来具体说明。      假设目前存在三条记录,Record A,Record B和RecordC,其中RecordA大小为10K,Record B 大小为80K,Record C大小为12K,那么其在log文件中的逻辑布局会如图3.1所示。RecordA是图中蓝色区域所示,因为大小为10K<32K,能够放在一个物理Block中,所以其类型为FULL;RecordB 大小为80K,而Block1因为放入了RecordA,所以还剩下22K,不足以放下RecordB,所以在Block1的剩余部分放入RecordB的开头一部分,类型标识为FIRST,代表了是一个记录的起始部分;RecordB还有58K没有存储,这些只能依次放在后续的物理Block里面,因为Block2大小只有32K,仍然放不下RecordB的剩余部分,所以Block2全部用来放RecordB,且标识类型为MIDDLE,意思是这是RecordB中间一段数据;RecordB剩下的部分可以完全放在Block3中,类型标识为LAST,代表了这是RecordB的末尾数据;图中黄色的RecordC因为大小为12K,Block3剩下的空间足以全部放下它,所以其类型标识为FULL。      从这个小例子可以看出逻辑记录和物理Block之间的关系,LevelDb一次物理读取为一个Block,然后根据类型情况拼接出逻辑记录,供后续流程处理。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

leveldb之log文件 的相关文章

随机推荐

  • 主机ubuntu通过SSH访问TX2

    因为最近实验室搭建好了装有激光雷达的ros小车 xff0c 笔者想通过主机对TX2的文件进行管理和下载 但由于笔者之前使用TX2都是直接连接在显示屏上使用 xff0c 并未使用过远程访问 xff0c 为此笔者查了较多资料走了不少弯路 xff
  • IDEA快捷创建Servlet项目

    IDEA快捷创建Servlet项目 1 右键单击 要创建Servlet项目 所在的包 注 xff1a 若没有Servlet选项 打开File gt project structure 进入如下页面 xff0c 选择你使用的工程 xff0c
  • 【基础教程】Python转义字符及用法

    ASCII 编码为每个字符都分配了唯一的编号 xff0c 称为编码值 在 Python 中 xff0c 一个 ASCII 字符除了可以用它的实体 xff08 也就是真正的字符 xff09 表示 xff0c 还可以用它的编码值表示 这种使用编
  • SAP 实施新的金融工具 IFRS17规则解析

    在实施新的金融工具 IFRS 规则的过程中 xff0c 保险公司现在看到了保险负债的新标准 经过多年的长期讨论 xff0c IASB 于 2016 年 11 月承诺在 2021 年 1 月 1 日生效 xff0c 并明确表示不会考虑进一步推
  • FreeRTOS中任务控制块中关于堆栈的三个变量pxTopOfStack、pxStack、pxEndOfStack的分析

    这里写自定义目录标题 FreeRTOS中任务控制块中关于堆栈的定义 typedef struct tskTaskControlBlock volatile StackType t pxTopOfStack lt Points to the
  • 在keil中添加c文件时的一些常见错误

    近期在做项目时 xff0c 计划添加一个测距模块 xff0c 因此要新建一个c文件封装一些函数 xff0c 方便调用 xff0c 在实际操作时遇到了以下两个问题 1 编译时报错 error no such file or dictionar
  • stm32f1驱动HC-SR04超声波测距模块

    这段时间算是比较系统的学习了一点stm32相关的东西 xff0c 驱动超声波测距模块这个简单的小任务综合了定时器 xff0c 中断 xff0c 串口三个知识点 xff0c 拿来练手还是挺不错的 首先先介绍一下HC SR04模块 xff1a
  • HC05/HC06蓝牙模块驱动(1)

    花了点时间熟悉了一下蓝牙模块 xff0c 发现意料之外的简单 先说蓝牙模块的三种工作模式 xff08 这三种工作模式是HC05 06共有的 xff0c 并且通过模块上的LED反映出来 xff09 1 待连接模式 HC05 快速闪灯 HC06
  • Raft的PreVote实现机制

    Raft的PreVote实现机制 1 背景 在Basic Raft算法中 xff0c 当一个Follower与其他节点网络隔离 xff0c 如下图所示 xff1a Follower 2在electionTimeout没收到心跳之后 会发起选
  • ubuntu环境下opencv学习+踩坑

    opencv学习 43 踩坑 环境 ubuntu 19 04vscode 1 37 0opencv 3 4 7cmake 3 13 4 自己的blog在持续更新中 https blog csdn net sasasatori article
  • jetson nano上opencv+vscode环境搭建+踩坑记录

    jetson nano踩坑 1 英伟达系的cpu是arm64架构 xff0c 而市面上大部分直接支持的软件是amd64架构 xff0c 这就导致了很多很好用的软件无法直接在上面用 xff0c 比如simple note 2 vsc我是找了个
  • rc视觉工作日常

    RC视觉 由于硬件条件限制 xff0c 最后选择的开发方案为主机 43 jetson nano交叉开发的方案 xff0c 计划实现的目标为识别到某个特征物体 xff08 比如运动的羽毛球 xff09 之后 xff0c 将处理之后的消息通过串
  • 服务器后台语言选型参考

    1 后台服务器什么技术搭建 xff1f 2 为什么大型网站前端使用 PHP 后台逻辑用 Java xff1f 3 为什么大型网站前端使用 PHP 后台逻辑用 Java xff1f 4 Java在Web开发语言上败给了PHP
  • MVC4 网站发布(整理 + 部分转载 + 部分问题收集和解决方案)

    网站发布步骤 这部分是转载文章 在此标明出处 xff0c 以前有文章是转的没标明的请谅解 xff0c 因为有些已经无法找到出处 xff0c 或者与其它原因 如有冒犯请联系本人 xff0c 或删除 xff0c 或标明出处 因为好的文章 xff
  • 2022-适用于 Windows 10 Version 1809 的 02 累积更新,适合基于 x64 的系统 (KB5010351) - 错误 0x800f0982

    2022 适用于 Windows 10 Version 1809 的 02 累积更新 xff0c 适合基于 x64 的系统 KB5010351 错误 0x800f0982 系统是win10 企业版 LTSC版本 可能安装的是精简版导致的 运
  • sqlsever中text字段类型是否会影响查询性能

    先上结论 会影响查询性能 我在库里找了一张表T Sys Log 然后做2个副本 备份表 SELECT INTO T Sys Log back FROM T Sys Log SELECT INTO T Sys Log back2 FROM T
  • 【无标题】

    起因 2010 年 xff0c 谷歌宣布退出地内市场的时候 xff0c 一直保留着 谷歌地图 和 谷歌翻译 这两个公共服务 有兴趣自行百度下谷歌和百度恩怨 在 2020 年 xff0c 谷歌停止了 谷歌地图 在内地的服务 现在 xff0c
  • vmware ESXI 裸金属架构 本地服务器 开启Intel VT-x(虚拟化技术)

    我想使用vmware ESXI 安装的WIN10虚拟机中装vmware软件再装win10 即虚拟机中套虚拟机 基于工作要求某个XXX项目需要开启VPN远程到客户内网进行维护 客户对网络审计比较严 安装VPN的那台机子识别码要上传服务器 基本
  • 对一个或多个实体的验证失败。有关详细信息,请参见“EntityValidationErrors”属性。

    因为是转载文章 在此标明出处 xff0c 以前有文章是转的没标明的请谅解 xff0c 因为有些已经无法找到出处 xff0c 或者与其它原因 如有冒犯请联系本人 xff0c 或删除 xff0c 或标明出处 因为好的文章 xff0c 以前只想收
  • leveldb之log文件

    leveldb之log文件 1 log文件在LevelDb中的主要作用是系统故障恢复时 xff0c 能够保证不会丢失数据 因为在将记录写入内存的Memtable之前 xff0c 会先写入Log文件 xff0c 这样即使系统发生故障 xff0