数据存储具有很强的现实意义，只有采取合理的数据存储方式，才能够有利于数据的管理、检索等。为增进大家对数据存储方式的认识，本文将对三种数据存储方式予以介绍。如果你对数据存储方式具有兴趣，不妨继续往下阅读哦。
数据存储在实际应用中，就是怎么用数据库把我们的业务数据保存起来。从宏观角度看，大致包含三大类技术：B-TREE，LSM&SSTable，列式存储。
一、B-TREE
B-TREE和关系模型同步出现于70年代，到90年几乎占领了所有的数据库市场。B-TREE简单的理解就是多叶节点的树，每个叶节点并非是每行数据，而是数据库的的数据块。这么设计的原因是树的层次影响着搜索性能，而且磁盘的读写是基于块(BLOCK)的，使用块可以大大减少节点数量，进而减少树的层次。
B-TREE的特点在于读写性能比较稳定，响应时间和磁盘随机读写的时间成正比(10ms)。并且由于B-TREE对应到数据库的每条记录，可以很容易的实现事务、行锁和隔离级别。读性能略高于LSM算法。而且B-TREE基于块的存储方式，可以很容易的把内存中的块和磁盘上的块一一对应起来，很容易的实现缓存。在实际应用中，前2-3级节点内都可以在缓存中读取，由此大大提高了访问效率。
而不足在于真正面对海量数据时(如数据量进入到百亿级别时)，由于树层数和缓存比率的减少，会导致性能逐步下降。此外由于B-TREE在写入时也需要通过搜索定位到叶节点，因此相对于LSM，其写入时开销较大。PS：其实现在已经出现了分布式的B-TREE，比如oracle的localeindex。
二、LSM&SSTable
目前主流的存储架构还是磁盘+内存，磁盘顺序读写的性能高于随机读写三个数量级，而在内存中进行随机读写的的性能也大于磁盘的三个数量级，可以得出用磁盘当做磁带一样只做顺序读写，而把内存当做磁盘，提供所有的随机读写访问的总体思想，这也就是出LSM-Tree的算法。
简单说就是在内存中维护一张MemTable，把所有最新的数据都写到其中，所有数据依据key值进行排序(随机读写)。当MemTable的大小到大阈值之后，把它写到磁盘上，形成一个个的SSTable(顺序写)。每个SSTable构造一个索引，由于SSTable中的数据都是排好序的，所以索引较小，可以保存在内存里面，所以所有的索引搜索动作都是在内存进行的(随机读)。
每次查找的过程如下：首先在MemTable中搜索(内存随机查找)，如果没有依次在每个SSTable的索引中查找(内存随机查找)。把查找从磁盘随机动作变成了基于内存的随机动作。随着SSTable的增多，搜索的次数会增加，为了提高性能，后台会把多个SSTable合并为一个(如HBase、LevelDB等等)。并且提供布隆过滤器(BloomFilter)来过滤掉不需要的SSTable。从总体效果上看，写入的效率大大高于基于B-Tree的存储引擎，而读取性能接近于B-Tree。
LSM&SSTable在写入密集型应用中有较大优势，同时在读取方面也有不错的表现。不足之处在于上面提到的，不定期对增加的SSTable进行合并时，对于数据库会产生一定压力。
由于这些特点，LSM&SSTable大量应用于许多组件中，比如HBase、LevelDB等KeyValue数据库中，同时也在消息引擎Kafka和搜索引擎Solr使用。
三、列式存储
以上两种存储引擎主要适合于联机场景，如有大量的基于客户各类行为数据的批量计算的推荐系统中，以及预计客户的流动性缺口等等。在这些场景中，列式存储在性能上有非常明显的优势。随着各类大数据应用的扩展，列式存储从和Hive共生的ORC，到和Spark共生的Parquet也被应用到了各个数据分析应用中。
从传统的数据分析类应用，到人工智能应用，都需要遍历整个数据集，上面也提到磁盘在顺序读写和随机读写性能方面的巨大差距，所以所有的数据仓库都会在全表遍历中采用磁盘顺序遍历。所以遍历的文件空间越小，性能越高。列式存储按列对数据进行保存，以减少数据库每次访问的文件尺寸。
首先，分析应用一般局限于对于表中的部分字段都分析，列是存储可以让引擎只访问部分字段，减少吞吐量。其次，列式存储数据压缩能力更强。因为行级别的存储方式压缩是基于数据块，压缩比大致为50%-70%左右，而且压缩比越大，解压缩对于CPU的占用也越大。由于单列内的数据非常类似，尤其是各种码值类的数据，比如性别(男、女、其他)，行数越多，压缩比越大。10亿客户的性别，也可以简单的表达为如下这样：“连续100个男性、连续50个女性、又连续80个男性、连续70个女性”，按照每行的位置依次表达下去。
再次，同样由于列内数据的取值范围有限，也可通过位图来表达，比如10表示男，01表示女，因此只用2个bit就可以表示出来，从而进一步增加压缩比。在在许多场景中能够把以前数G的数据压缩为几百K。由此可以显著降低批量计算时对于存储的吞吐压力和提升计算效率。
当然列式存储也并非完美，在更新时列式存储相对行式存储，很难直接做到就地修改的效果，往往需要把整列锁住，重新计算，重新生成整个列。所以列式存储更多的适合于数据分析时需要全表遍历的场景。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
