一文搞懂leveldb写操作

2023-05-16

前言

leveldb一直也它优秀的写性能而文明,本篇文章我们就来分析下leveldb的写流程。来搞懂为什么它的写性能如此优秀

整理流程

在这里插入图片描述
leveldb一次写入分为两部分:

  1. 第一步先将写操作写入日志。
  2. 第二步将写操作应用到内存数据库中。
    在这里先写入日志的目的是为了保障写操作不丢失。

写类型

写类型有两种。第一种是Put,第二种是Delete。其实本质上说这两种操作是一种类型的,因为delete操作实际上是value为空的Put操作。

batch

无论是Put操作、Delete操作还是批量操作,在底层都会创建一个batch实例作为数据库操作的最小执行储单元。首先来看一看batch的架构。
在这里插入图片描述

在batch中每条数据项都按照上述格式进行编码。每条数据项编码后的第一位是这条数据项的类型。类型分为更新和删除操作。之后就是key的长度,数据项key的内容。如果不是删除操作,则还要加上value的长度,value的内容。

此外,batch还会维护一个size值,该值用于表示数据量的大小。该值为所有key和value长度的累加。以及额外8个字节用来存储一条数据的额外信息。

key值编码

当数据项从batch写入内存数据库时,需要将key值转换。所以,在leveldb内部所有的数据项的key值都是经过内部特殊编码的。这种格式称为internal key。
在这里插入图片描述
ineternal key在用户key的基础上,尾部增加了8个字节。用于存储该操作对应的sequence number和类型。

其中,每一个操作都会被赋予一个sequence number。每进行一次操作,sequence number累加1。leveldb的更新和删除操作都是采用append的方式,而不是直接更新原数据。所以对应同一个key,会有多个版本的数据记录。sequence number最大的值就表示最新的记录。

此外,leveldb的snapshort也是基于sequence number实现的,即一个sequence number代表着一个数据库版本。

合并写

leveldb在面对并发写入时做了一个优化。同一时刻,只允许一个写操作把内容写入到日志和内存数据库中。 为了在写入进程比较多的情况下减少日志文件从而增加写入性能采取了将“小写入”合并到“大写入”。

具体流程如下:

第一个获取到写锁的写操作

1、第一个写入操作获取写锁。

2、在当前写入的数据量未达到合并上限而且还有其它写操作pending的情况下。将其它写入操作合并到自身。

3、如果写入操作已经达到上限或者无其它写操作需要pengding的情况下,将所有内容写入文件并写入数据库文件中。

4、通知每一个被合并到的写操作最后的写入结果,释放或移交写锁。

流程如下图所示:
在这里插入图片描述
其它写操作

1、等待写锁或者等待被合并

2、如果被合并判断合并是否成功,若成功则等待写入结果。反之则说明获取写锁的写操作已经oversize了,此时,直接从上一个占有写锁的写操作接过写锁并写入

3、如果未被合并,则继续等待合并或者写锁。

原子性

levledb任意一个写操作的原子性是基于日志来实现的。任何一条写操作的所有内容都将作为日志的一条记录写入到日志文件中。

一般有两种异常情况:

1、日志未开始或者写到一半,进程异常退出。这种情况可能存储一个写操作的部分写已经记录到日志文件中了,但仍然有部分写未被记录。这种情况当服务器恢复重启后读到这条日志发现异常会选择直接丢弃或者退出,从而保证了数据库的原子性

2、写日志完成,进程异常退出。这种情况下写入日志成功,但是数据未持久化。当服务器恢复重启后通过redo 日志实现数据写入也从而保证了数据库的原子性。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

一文搞懂leveldb写操作 的相关文章

  • Android 美团Robust热更新 使用入门

    转载请注明出处 http blog csdn net snailbaby soko article details 69524380 本篇文章已授权微信公众号 guolin blog xff08 郭霖 xff09 独家发布 Android热
  • Android 实战-版本更新(okhttp3、service、notification)

    转发请注明出处 http www jianshu com p b669940c9f3e 前言 整理功能 xff0c 把这块拿出来单独做个demo xff0c 好和大家分享交流一下 版本更新这个功能一般 app 都有实现 xff0c 而用户获
  • spark mllib源码分析之二分类逻辑回归的评价指标

    在逻辑回归分类中 xff0c 我们评价分类器好坏的主要指标有精准率 xff08 precision xff09 xff0c 召回率 xff08 recall xff09 xff0c F measure xff0c AUC等 xff0c 其中
  • AB升级之odex文件首次开机处理

    开启AB升级方案的项目 xff0c 因为很多需要升级的镜像都有两份 xff0c 所以存储空间比较浪费 为缓解此问题 xff0c 有个针对odex的优化方案 编译版本会生成两个system镜像 xff1a system img和system
  • Android Bluetooth HCI log 详解

    0 引子 对于蓝牙开发者来说 xff0c 通过HCI log可以帮助我们更好地分析问题 xff0c 理解蓝牙协议 xff0c 就好像网络开发一定要会使用Wireshark分析网络协议一样 本篇主要介绍HCI log的作用 如何抓取一份HCI
  • imx6ull开发板调试nfs环境配置+运行hello程序

    20210314 43 imx6ull开发板nfs环境配置 1 设置git邮箱和用户名 wang 64 wang virtual machine git config global user name 34 snaking616 34 wa
  • 网络编程6:线程池简介

    1 线程池相关结构体 struct threadpool t pthread mutex t lock 用于锁住本结构体 pthread mutex t thread counter 记录忙状态线程个数de琐 busy thr num pt
  • 网络编程7:本地套接字

    1 基于UDP的网络编程 1 1 TCP通信和UDP通信各自的优缺点 TCP xff1a 面向连接的 xff0c 可靠数据包传输 对于不稳定的网络层 xff0c 采取完全弥补的通信方式 丢包重传 优点 xff1a 稳定 数据流量稳定 速度稳
  • Effectinve Python的59个有效方法中第38条使用Lock防止数据竞争中运行错误的问题

    系统 xff1a Ubuntu1804 在Jupyter Notebook中运行 xff0c 使用的anaconda下的python3 7 6 在代码运行中出现错误的问题 xff0c 源代码如下 xff1a 代码为书中样例代码 xff0c
  • 4相直流步进电机工作原理+温度PID算法

    四相步进电机原理图 https tech hqew com circuit 511266 步进电机 xff08 四相五线为例子 xff09 步进角度和工作原理介绍 https blog csdn net qq 34824576 articl
  • imx6ull-mini开发板调试环境汇总

    一 安装USB驱动 相关页面 xff1a https www silabs com developers usb to uart bridge vcp drivers 下载链接 xff1a CP210x Universal Windows
  • OrCAD Capture CIS的使用方法

    软件版本 xff1a Cadence allegro 16 5 参考教程 xff1a 于争博士 Cadence视频教程 第1讲 课程介绍 xff0c 学习方法 xff0c 了解CADENCE软件 第2讲 创建工程 xff0c 创建元件库 主
  • PCI-E 1x, 4x, 8x, 16x 接口定义

    1 PCI E插槽及金手指实物图 xff08 1 xff09 PCI E插槽 从上至下依次为PCI E 4X PCI E 16X PCI E 1X xff08 2 xff09 PCI E金手指 PCI E 1X金手指PCI E 4X金手指P
  • Lattice USB下载线使用说明及CPLD程序烧写

    目录 1 下载并安装ispLEVER Classic 软件 1 1 软件下载 1 2 软件的安装 2 Lattice USB下载线介绍 2 1 实物介绍
  • E-96系列电阻值代号对照表

    1 说明 2 E 96系列电阻值代号对照表 E 96系列 标准阻值表阻值代码阻值代码阻值代码阻值代码阻值代码阻值代码1001X10001A1 00K01B10 0K01C100K01D1M01E10 202X10202A1 02K02B10
  • Altium Designer10铺铜技巧小结

    目录 1 铜皮操作分类 2 铺铜技巧 2 1 过孔处理 2 1 1 过孔与绿油 2 1 2 过孔的十字连接与直接连接 2 2 设置灌铜安全间距 xff08 Clearance xff09 2 3 设置空心灌铜 2 4 调整灌铜形状 2 5
  • 基于MFC的USB上位机开发(3)数据传输模块

    延伸阅读 基于MFC的USB上位机开发 1 概述 基于MFC的USB上位机开发 2 速度测试模块 基于MFC的USB上位机开发 3 数据传输模块 基于MFC的USB上位机开发 4 环路模块 基于MFC的USB上位机开发 5 下环路模块 目录
  • 虚拟现实的起源、发展、爆发与沉淀

    虚拟现实的三生三世 闲来无事翻篇外文 xff0c 本博主并非故意蹭热点 xff08 奸笑 xff09 xff0c 结尾我会细说为何是三生三世 xff0c 不是五生五世 xff1a 虚拟现实远早于这个概念被创造和形式化之前 在这篇描写虚拟现实
  • 基于卷积的密度统计(一)密度图的生成

    在基于卷积的人数统计中 xff0c 一种是最后回归整张图的人数 xff0c 即输入图像 xff0c 输出人群个数 xff0c 另外一种是回归人群分布密度图 xff0c 即输入图像 xff0c 得到的是密度分布 显然得到密度分布的人数统计方法
  • Python使用国内镜像

    国内镜像地址 xff1a 阿里云 xff1a https mirrors aliyun com pypi simple 清华 xff1a https pypi tuna tsinghua edu cn simple中国科技大学 https

随机推荐

  • [RK3568 Android11] 开发之蓝牙(AP6275S)

    目录 前言 一 设备树dts配置 二 蓝牙打不开 三 蓝牙打开成功 四 修改蓝牙设备名称
  • XFCE菜单列表

    vim etc xdg xfce4 panel xfce4 menu 19 rc use default menu 61 true menu file 61 etc xdg menus xfce applications menu icon
  • X的DISPLAY=:0.0

    ZZ http blog 163 com caizf1987 64 126 blog static 13212128020104611592660 在Linux Unix类操作系统上 DISPLAY用来设置将图形显示到何处 直接登陆图形界面
  • 国外服务器上玩游戏延迟很高,什么原因造成的?

    在国外服务器玩游戏为什么延迟很高 有的比较热门的国际游戏 xff0c 为了玩家通常都会将整个游戏的区服划分为亚服 欧服 美服 东南亚服 韩服等等 xff0c 这主要是为了玩家有个良好的游戏体验 xff0c 那为什么在外服 国外服务器 上玩游
  • 公司抽奖小程序(自定义名单,空格控制滚动、抽奖,可作弊,可满足千人团队, 带可执行程序下载及源代码)

    内含 抽奖小程序 及 名单生成工具 使用时将两个小程序放在 同一目录下 先用名单生成工具生成名单 打开工具 按照提示输入要创建的参与抽奖的人数 输入每个人的编号及姓名 每行一个编号 空格 姓名 打开程序 复制粘贴即可 先用excel或者tx
  • 大厂面试之JAVA核心技能:Slipped Conditions

    聊聊Splipped Condtion 定义一个更现实的例子解决Slipped Conditions问题 定义 所谓Slipped conditions xff0c 就是说 xff0c 从一个线程检查某一特定条件到该线程操作此条件期间 xf
  • 一文带你彻底搞懂Docker中的cgroup

    前言 进程在系统中使用CPU 内存 磁盘等计算资源或者存储资源还是比较随心所欲的 xff0c 我们希望对进程资源利用进行限制 xff0c 对进程资源的使用进行追踪 这就让cgroup的出现成为了可能 xff0c 它用来统一将进程进行分组 x
  • 一文彻底搞懂Docker中的namespace

    什么是namespace namespace是对全局系统资源的一种封装隔离 这样可以让不同namespace的进程拥有独立的全局系统资源 这样改变一个namespace的系统资源只会影响当前namespace中的进程 xff0c 对其它na
  • 带你玩转多进程编程(一)

    前言 之前用加法器的例子一文带你轻松掌握多种范式讲解了多种范式的封装差异得到了很多童鞋的阅读 这次我再通过对进程的封装来给大家继续加深讲解下关于这几种编程范式的差异吧 结构化设计 相对于pthread create 函数 xff0c for
  • 【网易面试题】如何实现一个线程安全的shared_ptr智能指针

    题目描述 网易一面遇到过这么一个题目 xff0c 面试官要求自己实现一个线程安全的shared ptr智能指针 题目分析 可能很多人只知道shared ptr是C 43 43 11模块库的头文件定义的一个智能指针 xff0c 即shared
  • Ubuntu命令行安装Teamviewer

    1 预备安装 更新32位架构 sudo dpkg add architecture i386 更新安装 sudo apt get update 2 使用deb安装 官网下载 xff1a https www teamviewer com en
  • 阿里云数据湖分析急招实习生

    团队介绍 OSS 对象存储的概念可能对很多同学相对比较陌生 xff0c 但其实和大家紧密相关 xff0c 因为整个阿里集团业务以及阿里云外部客户的视频 图片 JS和CSS等资源全部都存储在我们这里 xff0c 可以说国内每天使用互联网应用的
  • 源码剖析Redis中如何使用跳表的

    前言 阿里云今年春招校招面试题 xff0c 面试官问Redis在是如何使用跳表的 xff1f 让很多同学赶到很头疼 今天我们就来讲一讲吧 Sorted Set的结构 redis的数据类型中有序集合 xff08 sorted set xff0
  • 多进程生产者消费者框架设计

    前言 介绍了进程如何基于面向对象的封装 xff0c 本章我们基于封装好的Process类来实现一种无锁版的生产者和消费者框架 xff0c 用它实现了高性能文件拷贝功能 读这篇文章之前大家可以想一下如果是你 xff0c 你会怎么设计这样的框架
  • golang实现简单rpc调用

    RPC通信过程 RPC的通信过程网上介绍很多 xff0c 这里就不在单独介绍了 xff0c 具体过程如下 xff1a 1 Client以本地调用的方式发起调用 xff1b 2 Client stub收到调用后负责将被调用的方法名 参数等打包
  • 一文彻底搞懂leveldb架构

    leveldb leveldb是一个写性能十分优秀的存储引擎 xff0c 是典型的LSM tree的实现 LSM的核心思想是为了换取最大的写性能而放弃掉部分读性能 那么 xff0c 为什么leveldb写性能高 xff1f 简单来说它就是尽
  • flink核心之watermarker

    背景介绍 xff1a 现在的社会 xff0c 人们产生越来越多的数据 xff0c 而数据对每个人人都产生了巨大的影响 比如你去银行贷款 xff0c 那么必然银行要对你做信用评估 xff0c 会涉及到大数据画像等数据分析 比如美团外卖 xff
  • 我在华为度过的 “两辈子”(学习那些在大厂表现优秀的人)

    七 是一个很神奇的数字 生物学中认为组成身体的细胞 xff0c 七年会彻底更新一遍 xff1b 李笑来说 xff0c 七年就是一辈子 xff0c 每一辈子至少要习得一个重要的技能 xff0c 进而获得不可逆的重生 xff1b 白居易写道 x
  • 【Effective Java】大厂实战之考虑以静态工厂方法代替构造方法

    图片 Item1 考虑以静态工厂方法代替构造方法 Item1 考虑以静态工厂方法代替构造方法 缺点1 只提供静态工厂方法的话 xff0c 该类就无法被继承 xff08 子类化 xff09 缺点2 API的查找比较麻烦 常见静态工厂方法的命名
  • 一文搞懂leveldb写操作

    前言 leveldb一直也它优秀的写性能而文明 xff0c 本篇文章我们就来分析下leveldb的写流程 来搞懂为什么它的写性能如此优秀 整理流程 leveldb一次写入分为两部分 xff1a 第一步先将写操作写入日志 第二步将写操作应用到