Linus工作室 2021年 PB级存储方案

来自于加拿大Linux 工作室
本文章仅整理内容，另外还有一些本人的理解
实际上这已经是Linux PB计划第二代了，比第一代更加NB
原视频地址：
https://www.bilibili.com/video/BV1nj411f7NL/?spm_id_from=333.788.videocard.4
https://www.bilibili.com/video/BV1VE41177Rj?share_source=copy_web

硬件部分 Hardware

软件部分 Software

1、文件系统使用ZFS，并且用到其ARC（自适应替换缓存）技术，将数据缓存到SSD中（L2ARC）
2、60个机械硬盘组成4个VDEV（每个VDEV包含15块硬盘），组成RAID-Z2阵列。整个阵列最多允许损失8个硬盘（应当注意的是，每个VDEV最多损失两块硬盘，最多可以8块）
3、应当注意，这种容量的存储设备在损失硬盘后重新同步的时间是非常漫长的（预计几个星期左右），这也必须是要考虑的因素。
4、1PB的存储接近GlusterFS 单卷容量上限，再往上就要超了（但是最后接入到Samba中的容量有1.2PB，老莱增加了几块硬盘）。
5、一台Stroinator实际能够提供的存储容量只有600TB左右，因为冗余或者文件系统的原因，但是老莱最后弄了两台Stroinator组了一个存储集群，能够提供1.2PB的容量。

结语：这种大家伙也就视频工作室用一用了，但是当前一些做机器学习的公司或者组织也可以考虑组装一台这样的存储用来存储学习模型或者元数据。还有，请不要闲的蛋疼直接在公司的生产环境部署这个东西，除非你有充分的时间来安装和调试它（参考PB计划第二弹视频），毕竟老莱可是和他们存储公司的技术人员可以直接无障碍交流的。