tidb数据同步及事务原理

2023-11-15

raft共识算法

raft是一种分布式一致性算法;

tikv server通过raft算法保证数据的强一致性;pd server也是通过raft来保证数据的一致性;

Raft下读写是如何工作的?

读写都是通过leader;follower只有选举和备份的作用,读写都不经过follower;learner只有复制的作用,没有选举权;

leader选举(leader election)

两个超时控制选举:

  1. election timeout, 选举超时,就是follower等待成为candidate的时间,是150ms到300ms的随机值;
  2. heartbeat timeout,心跳超时,要小于150ms,即小于election timeout;

选举超时后,follower成为candidate,开始新一轮选举,election term(任期)加一;follower给自己投上一票,然后向其它节点拉票;如果其他节点还没有投票,那么就投给这个candidate;收到拉票请求后,其它节点重置它的选举超时;candidate获得大多数的选票的时候,就成为leader。leader在心跳超时(heartbeat timeout)内,向其它节点同步自身的变化,follower节点收到通知后给leader回复;当前选举周期一直持续到某个follower节点收不到heartbeat,从而成为candidate。

follower成为candidate后,需要做以下事情:

  1. election term加一;
  2. 给自己投一票;
  3. 重置election timeout;

follower收到拉票请求后,需要做以下事情:

  1. 重置election timeout;
  2. election term加一
  3. 只会给第一个拉票的candidate投票;

收到heartbeat也需要重置election timeout;

日志复制(log replication)

所有的写操作,都需要通过leader节点;leader先将写操作写入log(WAL日志),并没有提交;之后将log发送给follower节点,follower节点会写入自己的WAL日志,之后回复leader节点;leader节点获得大多数节点的应答后,再进行提交,之后将结果回复给client;最后再通知follwer节点落盘;

网络分区(network partitions, 脑裂)

比如集群一共有5个节点,由于网络故障,分成两个分区A, B;A有3个节点,B有2个节点,原先的leader节点在B中,A会重新选举出一个新的leader;对于A的写操作,由于大多数原则,最终会commit;对于B,因为不满足大多数原则,所以不会commit。

网络恢复后,raft如何恢复一致性?

网络恢复后,B会回滚未提交的日志,并且会同步A的数据;主要是因为A的election term比B大,最终A中的leader会成为整个集群的leader;

election term的作用?

解决网络分区问题;

Region

img

tikv将整个key-value空间分为很多段,每一段是一系列连续的key,每一段叫做一个region;

以region为单位,将数据分散在集群中的所有tikv节点上,并且尽量保证每个节点上的region数量差不多;这是pd server的主要工作;

每一个region有一个主节点,还有多个replica,它们之间通过raft算法来进行数据的同步,组成一个raft group;保证了tidb的强一致性和高可用性;

region的数据同步,跟MVCC息息相关;

分布式事务

关系型数据库,重点是事务;事务的重点是隔离级别,MVCC;隔离级别通过一定程度破坏一致性,来提高并发能力;不同的隔离级别对应不同的异常情况;

tidb分布式事务采用的是Percolator模型;本质是一个二阶段提交;

二阶段提交

二阶段提交是将事务的提交过程分成了两个阶段来进行处理;目的是使分布式系统架构下的所有节点在进行事务处理过程中能够保持原子性和一致性;二阶段提交能够非常方便地完成所有分布式事务参与者的协调,统一决定事务的提交或回滚;

传统的分布式事务所实现的二阶段提交如下图:

img

二阶段提交将一个事务的处理过程分为了投票和执行两个阶段;核心是对每个事务都采用先尝试后提交的处理方式。

在分布式的场景下,有可能会出现第一阶段后某个参与者与协调者的连接中断,此时这个参与者并不清楚这个事务到底最终是提交了还是被回滚了,因为理论上来说,协调者在第一阶段结束后,如果确认收到所有参与者都已经将数据落盘,那么即可标注这个事务提交成功。然后进入第二阶段,但是第二阶段如果某参与者没有收到 COMMIT 消息,那么在这个参与者复活以后,它需要到一个地方去确认本地这个事务后来到底有没有成功被提交,此时就需要事务管理器的介入。这个事务管理器在整个系统中是个单点,是一个性能瓶颈;比如mysql集群解决方法mycat中就有单点问题;

percolator

percolator是一个去中心化的方案,本质是二阶段提交;tidb中的协调者就是tidb server;

事务开始时,tidb server会从pd leader上获取一个timestamp,之后使用这个ts作为标记这个事务的唯一id;标准的 percolator 模型采用的是乐观事务模型,在提交之前,会收集所有参与修改的行(key-value pairs),从里面随机选一行,作为这个事务的 primary row,剩下的行自动作为 secondary rows;primary row是随机的,它的意义就是负责标记这个事务的完成状态,解决传统二阶段提交中的单点问题;在选出primary row后,开始二阶段提交;只是tikv节点对于事物是否完成的状态查询,可以通过primary row来完成,解决了单点的性能瓶颈;

为什么可以通过primary row就可以确定整个事务的完成状态?

因为事务的原子性;要么都成功,要么都失败;

img

隔离级别

img

tidb支持snapshot隔离级别;是比reapeatale read更高的隔离级别;解决幻读,但是存在写偏序的问题;

snapshot isolation

  • 事务的读操作从Commited快照中读数据,快照时间可以是事务的第一次读操作之前的任意时间,记作StartTimestamp;
  • 事务准备提交时,获取一个CommitTimestamp,它需要比现存的StartTimestamp和CommitTimestamp都大;
  • 事务提交时进行冲突检查,如果没有其它事务在[StartTS, commitTS]区间内提交了与自己的WriteSet有交集的数据,则本事务可以提交;这里阻止了Lost Update异常;
  • SI允许事务用很旧的CommitTS来执行,从而不被任何的写操作阻塞,或者读一个历史数据;当然,如果使用一个很旧的CommitTS来提交,事务大概率是会被Abort的;

写偏序如何解决?

读加锁

tidb没有共享锁,只有排它锁;

select * from table for update;

MVCC

多版本并发控制,提供一致性非锁定读;tikv中的MVCC是分布式的,不能用rocksdb的MVCC;rocksdb的MVCC是本地的,它利用了snapshot(sequence number)来实现;tikv的MVCC,利用timestamp oracle来实现;tikv的MVCC实现是通过在key后面添加版本号(version)来实现,version实际就是timestamp,全局时钟,确定分布式系统中事务的tx id;

region的数据同步,跟MVCC是息息相关的,因为只有version数据同步了,才能够支持分布式的MVCC;

Key1_Version3 -> Value
Key1_Version2 -> Value
Key1_Version1 -> Value
……
Key2_Version4 -> Value
Key2_Version3 -> Value
Key2_Version2 -> Value
Key2_Version1 -> Value
……
KeyN_Version2 -> Value
KeyN_Version1 -> Value

TiFlash

tidb是一款分布式HTAP数据库,有两种存储节点,分别是tikv和tiflash;tikv将数据分为region存储,底层使用了rocksdb存储,是行式存储,适合TP类型的业务;而tiflash采用列式存储,适合AP类型的业务;tiflash也在tikv的raft集群中,tiflash作为leaner,从tikv节点实时同步数据,拥有毫秒级别的延迟,以及非常优秀的数据分析性能;

kv和tiflash;tikv将数据分为region存储,底层使用了rocksdb存储,是行式存储,适合TP类型的业务;而tiflash采用列式存储,适合AP类型的业务;tiflash也在tikv的raft集群中,tiflash作为leaner,从tikv节点实时同步数据,拥有毫秒级别的延迟,以及非常优秀的数据分析性能;

tiflash的数据结构融合了B+树和LSM-Tree的优点;B+树读性能高,LSM-Tree写性能高;LSM-Tree写放大很大,优化写放大;

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

tidb数据同步及事务原理 的相关文章

  • 安装J语言的JQt IDE,出现错误

    我一直按照这里的说明进行操作 http code jsoftware com wiki System Installation Linux http code jsoftware com wiki System Installation L
  • 使用 sh 运行 bash 脚本

    我有 bash 脚本 它需要 bash 另一个人尝试运行它 sh script name sh 它失败了 因为 sh 是他的发行版中 dash 的符号链接 ls la bin sh lrwxrwxrwx 1 root root 4 Aug
  • 为arm构建WebRTC

    我想为我的带有arm926ej s处理器的小机器构建webrtc 安装 depot tools 后 我执行了以下步骤 gclient config http webrtc googlecode com svn trunk gclient s
  • SSE:跨页边界的未对齐加载和存储

    我在页面边界旁边执行未对齐加载或存储之前读过某处 例如使用 mm loadu si128 mm storeu si128内在函数 代码应首先检查整个向量 在本例中为 16 个字节 是否属于同一页 如果不属于同一页 则切换到非向量指令 我知道
  • docker容器大小远大于实际大小

    我正在尝试从中构建图像debian latest 构建后 报告的图像虚拟大小来自docker images命令为 1 917 GB 我登录查看尺寸 du sh 大小为 573 MB 我很确定这么大的尺寸通常是不可能的 这里发生了什么 如何获
  • 多处理:仅使用物理核心?

    我有一个函数foo它消耗大量内存 我想并行运行多个实例 假设我有一个有 4 个物理核心的 CPU 每个核心有两个逻辑核心 我的系统有足够的内存来容纳 4 个实例foo并行但不是 8 个 此外 由于这 8 个核心中的 4 个是逻辑核心 我也不
  • 查找哪些页面不再与写入时复制共享

    假设我在 Linux 中有一个进程 我从中fork 另一个相同的过程 后forking 因为原始进程将开始写入内存 Linux写时复制机制将为进程提供与分叉进程使用的不同的唯一物理内存页 在执行的某个时刻 我如何知道原始进程的哪些页面已被写
  • 内核模式下的线程(和进程)与用户模式下的线程(和进程)有什么区别?

    我的问题 1 书中现代操作系统 它说线程和进程可以处于内核模式或用户模式 但没有明确说明它们之间有什么区别 2 为什么内核态线程和进程的切换比用户态线程和进程的切换花费更多 3 现在 我正在学习Linux 我想知道如何在LINUX系统中分别
  • 删除 Git 存储库,但保留所有文件

    在我使用 Linux 的过程中的某个时刻 我决定将我的主目录中的所有内容都放入源代码管理中是个好主意 我不是在问这是否是一个好主意 我是在问如何撤销它 删除存储库的原因是我最近安装了 Oh My Zsh 而且我非常喜欢它 问题是我的主目录有
  • “make install”将库安装在 /usr/lib 而不是 /usr/lib64

    我正在尝试在 64 位 CentOS 7 2 上构建并安装一个库 为了这个目的我正在跑步 cmake DCMAKE BUILD TYPE Release DCMAKE INSTALL PREFIX usr DCMAKE C COMPILER
  • MySQL 中的创建/写入权限

    我的设备遇到一些权限问题SELECT INTO OUTFILE陈述 当我登录数据库并执行简单的导出命令时 例如 mysql gt select from XYZ into outfile home mropa Photos Desktop
  • 在两次之间每分钟执行一次 Cronjob

    我需要在 crontab 中每分钟运行一个 bash 脚本8 45am and 9 50am每天的 Code 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 8 home pull sh gt ho
  • 使用 Grep 查找两个短语之间的文本块(包括短语)

    是否可以使用 grep 来高亮所有以以下内容开头的文本 mutablePath CGPathCreateMutable 并以以下内容结尾 CGPathAddPath skinMutablePath NULL mutablePath 这两个短
  • 高效的内存屏障

    我有一个多线程应用程序 其中每个线程都有一个整数类型的变量 这些变量在程序执行期间递增 在代码中的某些点 线程将其计数变量与其他线程的计数变量进行比较 现在 我们知道在多核上运行的线程可能会无序执行 一个线程可能无法读取其他线程的预期计数器
  • 如何查询X11显示分辨率?

    这似乎是一个简单的问题 但我找不到答案 如何查询 通过 X11 存在哪些监视器及其分辨率 查看显示宏 http tronche com gui x xlib display display macros html and 屏幕宏 http
  • 监控子进程的内存使用情况

    我有一个 Linux 守护进程 它分叉几个子进程并监视它们是否崩溃 根据需要重新启动 如果父进程可以监视子进程的内存使用情况 以检测内存泄漏并在超出一定大小时重新启动子进程 那就太好了 我怎样才能做到这一点 您应该能够从 proc PID
  • 在 C++ linux 中将 STRINGS 写入串口

    我知道这个问题遍布互联网 但仍然没有任何东西能让我完全解决这个问题 我想用 C linux 将数据写入 Propeller 板的串行端口 从控制台获取输入时程序运行良好 但是当我向它写入字符串时总是返回 ERROR Invalid comm
  • 捕获实时流量时如何开启纳秒精度?

    如何告诉 libpcap v1 6 2 将纳秒值存储在struct pcap pkthdr ts tv usec 而不是微秒值 捕获实时数据包时 Note This question is similar to How to enable
  • 警告:请求的映像平台 (linux/amd64) 与检测到的主机平台 (linux/arm64/v8) 不匹配

    警告 请求的映像平台 linux amd64 与检测到的主机平台 linux arm64 v8 不匹配 并且未请求特定平台 docker 来自守护程序的错误响应 无法选择具有功能的设备驱动程序 gpu 我在 mac 上尝试运行此命令时遇到此
  • 后台分叉无法正常工作[重复]

    这个问题在这里已经有答案了 我运行这个程序 在前景和背景中 int main int pid printf App Start pid d n getpid while 1 pid fork if pid 0 printf Child n

随机推荐