TinyKv介绍

2023-05-16

TinyKv介绍

  • 前言
  • tinykv
  • 架构
  • 代码结构
  • 如何去写
  • TinyKv参考内容

前言

  开一个新坑,将tinykv的4个project全部实现。虽然今天我点进去看的时候就萌生退意。好在没有放弃之前,把project1完成了,这让我跃跃欲试挑战后面的project。。。。。。

  打算后续将每个project的解决思路写出来,下面介绍一下tinykv这个项目。我的地址是git tinykv master,如果遇到不会的希望可以给读者提供一些思路。

tinykv

  TinyKV 使用 Raft 共识算法构建 key-value 存储系统。它的灵感来自MIT 6.824和TiKV 项目。

  完成本项目后,您将具备实施具有分布式事务支持的水平可扩展、高可用性、键值存储服务的知识。此外,您将对 TiKV 架构和实现有更好的了解。

  • project1是构建一个单机kv server
  • project2是基于raft算法实现分布式键值数据库服务端
  • project3是在project2的基础上支持多个raft集群
  • project4是在project3的基础上支持分布式事务

架构

  整个项目一开始就是一个key-value server和一个scheduler server的骨架代码——需要一步步完成核心逻辑:

  • project1:Standalone KV
    • 实现一个独立的存储引擎。
    • 实现原始键值服务处理程序。
  • project2:Raft KV
    • 实现基本的 Raft 算法。
    • 在 Raft 之上构建一个容错的 KV 服务器。
    • 增加对 Raft 日志垃圾回收和快照的支持。
  • project3:Multi-raft KV
    • 对 Raft 算法实施成员变更和领导层变更。
    • 在 Raft 存储上实现 conf 更改和区域拆分。
    • 实现一个基本的调度器。
  • project4:Transaction
    • 实现多版本并发控制层。
    • 实现KvGet、KvPrewrite和KvCommit请求的处理程序。
    • 实现KvScan、KvCheckTxnStatus、KvBatchRollback和KvResolveLock 请求的处理程序。

代码结构

在这里插入图片描述

  类似于 TiDB + TiKV + PD 的存储和计算分离的架构,TinyKV 只关注分布式数据库系统的存储层。如果您也对 SQL 层感兴趣,请参阅TinySQL。除此之外,还有一个名为 TinyScheduler 的组件作为整个 TinyKV 集群的中心控制,从 TinyKV 的心跳中收集信息。之后,TinyScheduler 可以生成调度任务并将任务分发给 TinyKV 实例。所有实例都通过 RPC 进行通信。

整个项目被组织到以下目录中:

  • kv包含键值存储的实现。
  • raft包含 Raft 共识算法的实现。
  • scheduler包含 TinyScheduler 的实现,负责管理 TinyKV 节点和生成时间戳。
  • proto包含节点和进程之间的所有通信的实现,使用基于 gRPC 的协议缓冲区。这个包包含了 TinyKV 使用的协议定义,以及生成的你可以使用的 Go 代码。
  • log包含根据级别输出日志的实用程序。

如何去写

  tinykv提供了非常多的单元测试,通过MakeFile来验证我们写的代码

在这里插入图片描述

git clone https://github.com/tidb-incubator/tinykv.git
cd tinykv
make

# 例:我们project1写好后 通过单元测试验证是否正确实现
make project1

  那么我们如何去写呢?其实tinykv早已经准备好了,已project1举例。可以看到下面都有提示,我们需要通过分析源码,进行填空即可。

type StandAloneStorage struct {
	// Your Data Here (1).
}

func NewStandAloneStorage(conf *config.Config) *StandAloneStorage {
	// Your Code Here (1).
}

func (s *StandAloneStorage) Start() error {
	// Your Code Here (1).
}

func (s *StandAloneStorage) Stop() error {
	// Your Code Here (1).
}

func (s *StandAloneStorage) Reader(ctx *kvrpcpb.Context) (storage.StorageReader, error) {
	// Your Code Here (1).
}

func (s *StandAloneStorage) Write(ctx *kvrpcpb.Context, batch []storage.Modify) error {
	// Your Code Here (1).
}

  对于每个project,都会有一篇markdown文档进行简单的介绍,和一些提示。所以仅有的这几篇文档,要仔细阅读才行!

TinyKv参考内容

//待补充

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

TinyKv介绍 的相关文章

随机推荐

  • C++面试常见题目

    C 43 43 面试常见题目 c 43 43 编译过程自动类型推导auto和decltype重载 重写 xff08 覆盖 xff09 和隐藏的区别C 43 43 构造函数和析构函数能调用虚函数吗volatile关键词运算符重载格式noexe
  • 计算机网络面试常问问题

    C 43 43 面试 计算机网络常见问题 计算机网络常见问题TCP IP协议笔记TCPTCP的特点及目的序列号与确认应答提高可靠性为什么是三次握手和四次挥手滑动窗口流量控制拥塞控制TCP粘包问题 httphttp和https的区别https
  • Trajectory generation for quadrotor while tracking a moving target in cluttered environment

    四旋翼在杂波环境下跟踪运动目标的轨迹生成 摘要1 文章主要贡献2 前言2 1 轨迹公式2 2 实现结构 3 跟踪轨迹生成3 1 标称路径点生成3 2 可行路径点生成3 3 安全飞行走廊生成3 4 代价函数3 5 强制约束3 6 求解跟踪轨迹
  • 翻译-Frustum PointNets for 3D Object Detection from RGB-D Data

    Frustum PointNets for 3D Object Detection from RGB D Data 摘要介绍相关工作从RGB D数据中检测三维物体基于前视图图像的方法 xff1a 基于鸟瞰图的方法 基于3D的方法 点云的深度
  • Online Trajectory Generation of a MAV for Chasing a Moving Target in 3D Dense Environments

    微型无人机的在线轨迹生成 xff0c 用于在3D密集环境中追踪运动目标 摘要一 介绍二 相关工作A 在障碍物环境中追逐B 通过预先规划安全地生成轨迹 三 问题陈述A 问题设置B 能力C 命名 IV 视点生成A 可见度指标B 具有安全性和可见
  • 配置目标跟踪开源项目traj_gen_vis踩过的坑

    项目地址 https github com icsl Jeon traj gen vis 安装依赖需注意的问题 traj gen with qpoases 需安装ros分支的代码 xff08 这个作者并没有指出 xff0c 坑 xff09
  • cmake arm-none-eabi-gcc for stm32 cpp project

    尝试把原有的stm32工程F1canBootloader用cmake来管理 xff0c 遇到了以下几个坑 xff1a 1 报错 xff0c undefined reference to 96 dso handle 39 CMakeFiles
  • 网络攻防之wireshark抓取登录信息

    使用wireshark抓取登录信息 简介 xff1a Wireshark xff08 前称Ethereal xff09 是一个网络封包分析软件 网络封包分析软件的功能是撷取网络封包 xff0c 并尽可能显示出最为详细的网络封包资料 Wire
  • 头文件互相包含所引发的的问题(深入剖析)

    今天写程序出现了一个让人蛋疼的错误 xff0c 后来发现是由于头文件互相包含所引起的 原本只是简单的以为头文件互相包含只会触发 xff0c 头文件的递归包含 即 xff0c A包含B xff0c 所以才A的头文件里会将B的头文件内容拷贝过来
  • C++11异步操作future和aysnc 、function和bind

    C 43 43 11异步操作future和aysnc function和bind 前言异步操作std future和std aysnc 介绍std future和std aysnc的使用Demostd packaged task 介绍std
  • C++文件服务器项目—FastDFS—1

    C 43 43 文件服务器项目 FastDFS 1 前言1 项目架构2 分布式文件系统2 1 传统文件系统2 2 分布式文件系统 3 FastDFS介绍3 1 fdfs概述3 2 fdfs框架中的三个角色3 3 fdfs三个角色之间的关系3
  • C++文件服务器项目—Redis—2

    C 43 43 文件服务器项目 Redis 2 前言1 数据库类型1 1 基本概念1 2 关系 非关系型数据库搭配使用 2 redis基础知识点2 1 redis安装2 2 redis中的两个角色2 3 redis中数据的组织格式2 4 r
  • C++文件服务器项目—Nginx—3

    C 43 43 文件服务器项目 Nginx 3 前言1 Nginx一些基本概念1 1 Nginx初步认识1 2 正向代理概念理解1 3 反向代理概念理解 2 Nginx的安装与配置2 1 Nginx与相关依赖库的安装2 2 Nginx相关的
  • C++文件服务器项目—FastCGI—4

    C 43 43 文件服务器项目 FastCGI 4 前言1 CGI 概念理解2 FastCGI 概念理解3 FastCGI和spawn fcgi安装4 FastCGI和 Nginx的关系5 Nginx数据转发 修改配置文件6 spawn f
  • C++文件服务器项目—Nginx+FastDFS插件—5

    C 43 43 文件服务器项目 Nginx 43 FastDFS插件 5 前言1 文件上传下载流程1 1 文件上传流程1 2 文件下载流程1 3 文件下载优化流程 2 Nginx和fastDFS插件2 1 安装Nginx和fastdfs n
  • C++文件服务器项目—数据库表设计 与 后端接口设计—6

    C 43 43 文件服务器项目 数据库表的设计 6 前言1 数据库建表1 1 用户信息表 user info1 2 文件信息表 file info1 3 用户文件列表表 user file list1 4 用户文件数量表 user file
  • C语言中宏定义的使用

    1 引言 预处理命令可以改变程序设计环境 提高编程效率 它们并不是 C 语言本身的组成部分 不能直接对 它们进行编译 必须在对程序进行编译之前 先对程序中这些特殊的命令进行 预处理 经过预处理后 程序就不再包括预处理命令了 最后再由编译程序
  • C++文件服务器项目—项目总结与反向代理—7

    C 43 43 文件服务器项目 项目总结与反向代理 7 1 项目总结2 项目提炼3 web服务器的反向代理4 存储节点的反向代理 组件介绍基本写完了 xff0c 后续进行深入 本专栏知识点是通过零声教育的线上课学习 xff0c 进行梳理总结
  • https相关内容

    https相关内容 前言基础概念理解https传输过程 前言 本文写https相关内容 xff0c 持续补充 基础概念理解 对称加密 加解密秘钥是同一个 非对称加密 公钥 私钥 sa gt 公钥私钥都是两个数字ecc gt 椭圆曲线 两个点
  • TinyKv介绍

    TinyKv介绍 前言tinykv架构代码结构如何去写TinyKv参考内容 前言 开一个新坑 xff0c 将tinykv的4个project全部实现 虽然今天我点进去看的时候就萌生退意 好在没有放弃之前 xff0c 把project1完成了