Ozone基于Block level的EC方案设计

2023-11-13

前言


在之前文章中,笔者写过一篇关于Ozone EC方案设计的文章(Ozone的Erasure Coding方案设计),不过当时那篇文章讨论的EC设计方案主要在Container级别以及Block级别做EC实现的方案对比,社区并没有敲定选用哪种最终的具体方案设计。最近社区更新了Ozone EC最新的设计方案,在Block级别做最终的实现方式,本文笔者聊聊此方案的实现细节。

Ozone EC概述


说到EC以及Ozone的EC,笔者上篇文章做过对此的简单介绍,以及Ozone在Block level和Container level做EC实现的优劣势的对比。笔者个人更偏向于在Block层面做EC,而且在实现语义上也是更接近于HDFS的EC实现。

在EC模式下,最重要的一个区别点在于一个block的数据存储将会变为striped的模式,即横向式的条带式的存储,而不是原来的连续存储方式。简单理解,就是一个block块的数据会被切为很多小的段,然后分别存储在不同的Containerer里面。如下图所示:
在这里插入图片描述
上图中灰色块的部分属于校验快,由数据块部分加密生成而来,用于EC数据的恢复。从上图Ozone EC数据的存储模式来看,这里的一个明显的变化是一个block将会以多片段的形式分散存储在不同的Container里,这些Container构成了一个Container Group组。

于是这里会有如下的对比区分:

  • Ozone原生(数据连续)存储:一个Block存储在一个Container里,然后以多副本的方式存储在多个Container里。
  • Ozone EC(数据条带式)存储一个Block以多个片段的方式存储在一个Container组里。

因此在这里,我们要重点谈论谈论Container组的概念,后续Ozone EC的block数据都要依赖这个Container组进行。

基于CGI的EC block数据的读写


在非EC模式下,block的写入过程比较简单,选择一个Container进行块的分配即可,此时block和Container就是1对1 的关系。但是在EC模式下,一个block可是要对应一组Container的,这个时候有什么高效的办法能做这样的关系映射呢?给每个block存储一个Container列表?

社区设计了一个Container Group的概念,以及给每个Group定义了一个Id(全称Container Group Id, CGI),然后通过这个CGI

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Ozone基于Block level的EC方案设计 的相关文章

  • 将一组很大的数据集随机分成两组数据

    最近在看机器学习的东西时发现了一些特别好玩的东西 机器学习中又分为训练集和测试集 如何把一组很大的数据分为这两个集合呢 可以使用接下来的函数完成 当然由于random这个随机数生成函数每次产生的数不一定都是刚好达到你的期望 所以总会有一点小
  • 【大数据入门核心技术-Impala】(一)Impala简介

    目录 一 Impala介绍 二 Impala优势 三 Impala主要功能 一 Impala介绍 Impala是Cloudera公司主导开发的新型查询系统 它提供SQL语义 能查询存储在Hadoop的HDFS和HBase中的PB级大数据 已
  • hibernateCRUD

    本文章的目的是实现hibernateDao层功能 但是具体的操作不在Dao层内完成 实体类 package com hibernate entity public class User private int id private Stri
  • 前端实现单元测试(代码版)

    Jest使用 下载 npm install save dev jest ts jest ts node jest globals types jest 在nodejs中支持ts ts执行报错 npx ts jest config init
  • 小白学习go之基础篇2 -- Slice切片的原理

    文章目录 前言 一 为什么要有切片 二 切片是怎么实现的呢 1 Go的切片结构体 SliceHeader 2 初始化切片的两种方式 3 切片是在栈上分配内存的还是在堆 4 切片的扩容 三 切片的使用有什么坑需要注意呢 总结 前言 本文主要记
  • 【解决】mysql安装时,Unable to connect to any of the specified MySQL hosts

    解决方法 win r打开运行 输入regedit 打开注册表 更改注册表 找到HKEY LOCAL MACHINE SYSTEM CurrentControlSet services mysql 服务名 ImagePath 我原先的地址为
  • 性能调优篇07:Zabbix性能优化的几点原则

    性能调优 概述 使Zabbix系统正确调整以获得最佳性能是非常重要的 Zabbix性能优化的几点原则 确保zabbix内部组件性能处于被监控状态 调优的基础 使用硬件性能足够好的服务器 不同角色分开 使用各自独立的服务器 使用分布式部署 调
  • 统计:Flutter,开发采用量

    本文作者 徐宜生 原文发布于 群英传 Flutter这个东西出来这么久了 到底市场占有率怎么样呢 为了让大家了解这一真实数据 也为了让大家了解当前Flutter在各大App中的使用情况 我今天下载了几百个App 占了手机将近80G空间 就为
  • 队列同步器AQS原理分析及具体实现

    Java中的并发编程很多都是以队列同步器AbstractQueuedSynchronizer为基础的 例如ReentrantLock CountDownLatch等 下面介绍其构成以及相应的实现 构成 private volatile in
  • 【汽车电子】浅谈LIN总线

    目录 1 为何使用LIN总线 2 什么是LIN总线 3 LIN总线的主从关系 4 LIN的特点 5 LIN报文帧结构 6 LIN总线波形 7 帧类型 8 进度表 9 状态机的实现 10 总结 11 声明 1 为何使用LIN总线 在这里你可能
  • Vue常用的修饰符有哪些?分别有什么应用场景?

    一 修饰符是什么 在程序世界里 修饰符是用于限定类型以及类型成员的声明的一种符号 在Vue中 修饰符处理了许多DOM事件的细节 让我们不再需要花大量的时间去处理这些烦恼的事情 而能有更多的精力专注于程序的逻辑处理 vue中修饰符分为以下五种
  • 一步一步详解LSTM网络【从RNN到LSTM到GRU等,直至attention】

    一步一步详解LSTM网络 从RNN到LSTM到GRU等 直至attention 0 前言 1 Recurrent Neural Networks循环神经网络 2 The Problem of Long Term Dependencies长期
  • import sys

    import sys 的作用是什么 参考来源 1 首先 先看一段代码 1 from sys import argv 2 script first second third argv 3 print The script is called
  • 3A之自动白平衡(AWB)篇

    在手机相机的专业模式中 可以看到有一个白平衡 WB 调节的选项 什么是AWB 人眼视觉系统具有颜色恒常性的特点 对物体的观察不受光源的影响 本质上是白色的物体 在不同色温 反射光线颜色不同的场景下 经过人眼的视觉系统矫正后还是白色 而对于C

随机推荐

  • 信息安全渗透测试都需要学习哪些内容?

    这个问题 说实话 在2019年之前 其实关注信息安全相关的人并不多 对于市场来讲 信息安全的需求量也不是很大 但大家都知道 在中国 随着时代和技术的发展 信息安全越来越受到重视 一步一步上升到国家战略层面 随着等保2 0出台 相应的信息行业
  • 阿里开源FASTJSON2,为FASTJSON重构升级,目标是为下一个十年提供一个高性能的JSON库

    大厂杂谈关注到阿里最近开源了fastjson2 推出几天已经获得500多的star FASTJSON2是FASTJSON项目的重要升级 目标是为下一个十年提供一个高性能的JSON库 持JSON JSONB两种协议 JSONPath是一等公民
  • 代码质量保障第2讲:单元测试 - 浅谈单元测试

    代码质量保障第2讲 单元测试 浅谈单元测试 本文是代码质量保障第2讲 浅谈单元测试 单元测试 unit testing 是指对软件中的最小可测试单元进行检查和验证 这是基础 所以围绕着单元测试 我从网上搜集和总结了相关的概念 以助你完善体系
  • 「OKR 理论篇」5 分钟快速掌握 OKR 管理法

    近几年在企业管理领域有一个很火的词 OKR 它发源于英特尔 兴盛于Google 随着字节跳动等互联网新贵的迅速崛起 引起了越来越多创新企业的关注 然而 对大部分公司而言 他们并没有完全理解 OKR 理念 往往将 OKR 与绩效考核等同起来
  • 用朴素贝叶斯做垃圾邮件分类&demo

    贝叶斯公式 全概公式 思路和实现 最终的目标 对于一封邮件 分词得到 我们需要求出给定的条件下 这封邮件是垃圾邮件的概率 即求出 这里s表示是垃圾邮件 spam 根据贝叶斯公式 根据全概公式 上式 这里n表示是正常邮件 noraml 令先验
  • 分布式应用:Zabbix代理服务器与SNMP监控

    目录 一 理论 1 分布式监控 2 Zabbix代理服务器部署 3 配置 agent 使用 proxy 4 设置 Zabbix SNMP 监控 二 实验 1 Zabbix代理服务器部署 2 配置 agent 使用 proxy 3 设置 Za
  • 多线程与高并发--------线程

    一 线程的基础概念 一 基础概念 1 1 进程与线程 什么是进程 进程是指运行中的程序 比如我们使用钉钉 浏览器 需要启动这个程序 操作系统会给这个程序分配一定的资源 占用内存资源 什么线程 线程是CPU调度的基本单位 每个线程执行的都是某
  • Linux下七种文件类型、文件属性及其查看方法

    1 七种文件类型 普通文件类型 Linux中最多的一种文件类型 包括 纯文本文件 ASCII 二进制文件 binary 数据格式的文件 data 各种压缩文件 第一个属性为 目录文件 就是目录 能用 cd 命令进入的 第一个属性为 d 例如
  • C++ 函数模板(template)详解

    目录 1 前言 2 为什么要使用函数模板 3 函数模板语法 3 1函数模板定义形式 4 函数模板和函数重载 4 1函数模板无法隐式数据类型转换 4 2当函数模板和普通函数都符合调用时 优先选择普通函数 4 3如果函数模板会产生更好的匹配 使
  • 【网络编程·应用层】https协议——加密与窃密的攻防战

    需要云服务器等云产品来学习Linux的同学可以移步 gt 腾讯云 lt gt 阿里云 lt gt 华为云 lt 官网 轻量型云服务器低至112元 年 新用户首次下单享超低折扣 目录 一 https协议的介绍 二 加密和解密 1 加密和解密的
  • 详解Git合并冲突——问题重现、原因及解决 “Automatic merge failed; fix conflicts and then commit the result.“

    最后更新日期 2022 10 6 在Git中使用git merge命令合并两个分支的时候 有可能产生这种情况 git merge A Auto merging merge txt CONFLICT content Merge conflic
  • 什么是 tokens,ChatGPT里面的Tokens如何计数?

    什么是 tokens ChatGPT里面的Tokens如何计数 什么是 tokens Tokens 可以被认为是词语的片段 在 API 处理提示之前 输入会被分解成 tokens 这些 tokens 并不会精确地在单词的开始或结束处切分 t
  • 机器人操作系统ROS(一)

    锋影 email 174176320 qq com 如果你认为本系列文章对你有所帮助 请大家有钱的捧个钱场 点击此处赞助 赞助额0 1元起步 多少随意 本篇文章主要是初步介绍ROS的基本知识以及安装等内容 一 ROS简介 ROS是啥 ROS
  • MVC 向页面传值方式总结

    总结发现ASP NET MVC中Controller向View传值的方式共有6种 分别是 ViewBag ViewData TempData 向普通View页面传一个Model对象 向强类型页面传传一个Model对象 用一个ViewMode
  • 如何用Java将DWG和DXF文件转换为PDF?看了这篇就懂了

    CAD文件格式是设计师或建筑师在建筑 汽车 五金等各行各业制作图纸时使用的 DWG和DXF是最广泛使用的CAD格式 然而 你需要一个专门的软件来查看DWG和DXF文件中的内容 为了解决这个限制 你可以将CAD图纸转换为PDF格式 Aspos
  • python从入门到精通,帮你们整理了学习路线【都是干货,建议收藏】

    前言 你多学一门本事 你就少向别人低头哈腰一次 毫无疑问 Python 是当下最火的编程语言之一 对于许多新手小白来讲 深入地了解掌握 Python 看似是一件十分困难的事 事实上 只要掌握了科学的学习方法并制定了系统的学习计划 Pytho
  • 拓展模块使用教程和心得(二):2.4G通信模块nRF24L01及周边知识

    成就更好的自己 课设用到了nRF24L01模块 设计和调试前后出现一些问题 开一篇博客说一下理论方面和使用中的问题 目录 元件介绍 工作模式及理论知识 与MCU通信方式 SPI通信 nRF24L01之间的无线通信 细枝末节知识点 一对一通信
  • Exception in thread "main" java.net.BindException: Address already in use: JVM_Bind

    出现上面的错误 说明使用的该端口被占用了 解决方法 1 如果该Java程序被运行过一次了并且成功了 说明上一次运行后程序没有退出 如下图第一次运行的没有退出 将其退出 再次运行即可 2 如果不是第一个情况 那就找占用该端口的进程 结束掉进程
  • 基于CNN的性别、年龄识别

    原文地址 http blog csdn NET hjimce article details 49255013 作者 hjimce 一 相关理论 本篇博文主要讲解2015年一篇paper Age and Gender Classificat
  • Ozone基于Block level的EC方案设计

    文章目录 前言 Ozone EC概述 基于CGI的EC block数据的读写 参考资料 前言 在之前文章中 笔者写过一篇关于Ozone EC方案设计的文章 Ozone的Erasure Coding方案设计 不过当时那篇文章讨论的EC设计方案