CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2],
...
INDEX index_name1 expr1 TYPE type1(...) GRANULARITY value1,
INDEX index_name2 expr2 TYPE type2(...) GRANULARITY value2
) ENGINE = MergeTree()
-- 排序键【必填】 默认情况下主键与排序键相同，可以是单个列，也可以通过元组声明多个列
ORDER BY expr
-- 分区键【选填】 可以时单个列，也可以通过元组声明多个列字段，同事也支持列表达式；如果不声明则会生成名为all的分区
[PARTITION BY expr]
-- 主键【选填】 会按照主键字段生成一级索引，默认情况下通常只需要声明排序键代为指定主键，MergeTree允许主键重复【ReplacingMergeTree可以去重】
[PRIMARY KEY expr]
-- 【选填】 声明数据按照何种方式进行抽样，如果声明了则主键中也需要声明同样的表达式
[SAMPLE BY expr]
[TTL expr [DELETE|TO DISK 'xxx'|TO VOLUME 'xxx'], ...]
-- index_granularity=8192 表示索引的粒度，表示每隔8192行生成一条索引
-- index_granularity_bytes=10*1024*1024 表示根据一批次写入数据量大小，自适应索引生成间隔大小，这里表示每写入10M就生成一个索引
-- enable_mixed_granularity_parts 表示是否开启自适应索引间隔功能，默认开启
-- merge_with_ttl_timeout 数据ttl功能
-- storage_policy 多路径存储策略
[SETTINGS name=value, ...]table_name
|
|----partition_1 //分区目录余下的各类数据文件都是以分区形式存放的，属于相同分区的数据，最终会被合并到同一个分区目录
| |
| |-------checksums.txt //校验文件,二进制存储。保存了余下各类文件的size大小和size的哈希值，校验文件的完整性和正确性
| |
| |-------columns.txt //列文件信息,明文存储，保存分区下的列字段信息
| |
| |-------count.txt //记录当前分区瞎的数据的总行数
| |
| |-------primary.idx //一级索引文件,二进制存储,在数据查询的时候能排除主键条件范围之外的数据文件。
| |
| |-------[Column].bin //数据文件,压缩格式存储,默认为LZ4压缩格式。MergeTree采用列式存储,所以每一个文件都有一个.bin数据文件。
| |
| |-------[Column].mrk //列字段标记文件,二进制存储,标记文件中保存了.bin文件中的偏移信息。标记文件与稀疏索引文件一一对应,查询时先通过稀疏索引文件找到对应的数据偏移信息(.mrk),再通过偏移量直接从.bin文件中读取数。
| |
| |-------[Column].mrk2 //当使用了自适应大小的索引间隔,则标记文件会以.mrk2命名。工作原理与.mrk文件相同
| |
| |-------partition.dat //如果使用了分区键,则会额外生成partition.dat与minmax索引文件,均使用二进制格式文件。保存当前分区下分区表达式最终生成的值。
| |
| |-------minmax_[Column].idx //minmax索引记录当前分区下分区字段对应的原始字段的最大和最小值
| |
| |-------skip_idx_[Column].idx //如果在表中声明了耳机索引，则会额外生成耳机索引与标记文件，使用二进制存储
| |
| |-------skip_idx_[Column].mrk
|
|----partition_2
|
|----partition_2数据分区：针对本地数据而言，对数据的纵向切分
数据分片：针对所有分片上的数据而言，是对数据的横向切分
比如分区ID：202103_1_1_0 => {PartitionID}_{MinBlockNum}_{MaxBlockNum}_{Level}
PartitionID: 分区ID，用户创建表时指定的。
MinBlockNum：最小的数据块编号，这是一个整形的全局的自增长编号，当每创建一个分区目录时，计数就累加1。
MaxBlockNum：最大的数据块编号。和MinBlockNum一样当分区创建的时候，MinBlockNum=MaxBlockNum的值。
Level：合并的层级，某个分区被合并过的次数，不是全局累加的，对每一个创建的分区，其初始值均为0。之后，以分区为单位，如果相同的分区发生合并动作，则在相应的分区内计数累加1
MergeTree会随着每一批次数据写入（一次insert语句）会成成一批新的分区目录，目录状态是激活（active=1）。即便不同批次写入的数据属于相同分区，也会生成不同的分区目录。所以对于同一个分区而言会存在多个分区目录的情况。在写入之后的10~15分钟（默认是）会通过后台任务将数据同一分区的多个数据目录合并成一个目录。已经存在的旧分区目录不会立即删除，目录状态是未激活（active=0），会在之后的8分钟（默认是）通过后台任务被删除。
合并的时候MinBlockNum、MaxBlockNum和Level的值变更：
MinBlockNum：取同一分区中所有的目录中最小的MinBlockNum的值
MaxBlockNum：取同一分区中所有的目录中最大的MaxBlockNum的值
Level：取同一分区内所有目录中最大的Level值加1
MergeTree的主键定义之后，MergeTree会依据index_grabularity间隔（默认8192行），为数据生成一级索引并保存至primary.idx文件中，索引数据按照Primary Key排序。当用Order By来指定主键的时候索引和数据文件会按照完全相同的排序规则。
由于是稀疏索引，所以MergeTree需要间隔index_grabularity间隔行数据才会生成一条索引记录，其索引值会依据声明的主键字段获取。会每间隔8192行取一次主键id值作为索引值，最终会被写入primary.idx文件进行保存。索引如果主键是元组类型的多个列，则隔8192行取所有的主键列的值作为索引值，索引值按照主键字段顺序紧密排列在一起。
MarkRange在ClickHouse中是用于定义标记区间的对象。一个具体的数据段即是一个MarkRange。MarkRange与索引编号对应，使用start和end两个属性表示其区间范围。
索引查询过程：
（1）生成查询条件的区间：首先将查询条件转换为条件区间。即便是单个值的查询条件，也会被转换成区间的形式。
Where ID = ‘A003’ => [‘A003’, ‘A003’]
Where ID > ‘A000’ => [‘A000’, +inf]
Where ID < ‘A188’ => [‘-inf’, ‘A188’]
Where ID like ‘A006%’ => [‘A006’, ‘A007’](2) 递归交集判断：以递归的形式，依次对MarkRange的数值区间与条件区间做交际判断。从最大的区间[A000, +inf]开始：
（2.1）如果不存在交集，则直接通过剪枝算法优化此段MarkRange。
（2.2）如果不存在交集，且MarkRange的步长大于8(end-start),，则将此区间进一步拆分成8个子区间(由merge_tree_coarse_index_granularity指定，默认值为8)，并重复此规则，继续做递归交集判断。
（2.3）如果存在交集，且MarkRange不可再分解（步长小于8），则记录MarkRange则返回。
（3）合并MarkRange区间：将最终匹配的MrakRange聚在一起，合并他们的范围。
二级索引又称为跳数索引，由数据的聚合信息构建而成。条数索引默认关闭，需要在使用的时候开启。条数索引需要在Create语句内定义，它支持使用元组和表达式的形式声明:
Index index_name expr type index_type(…) GRANULARITY granularity如果声明了条数索引则会额外生成索引与标记文件（skp_idx_[column].idx与skp_idx_[column].mrk）。
granularity和index_granularity区别是：index_granularity定义了数据的粒度，granularity定义了一行条数索引能够跳过多少个index_granularity区间的数据。
当index_granularity=8192, granularity=3时，数据会按照index_granularity划分为n等分，则二级索引会跨越3个index_granularity区间，取第一个索引列的最小值，以及取第三个区间索引列的最大值，来生成一条索引。
跳数索引的类型：minmax，set，ngrambf_v1和tokenbf_v1。
MergeTree中数据按列存储，每列都有一个与之对应的.bin数据文件，数据文件以分区目录形式存放，所以在.bin文件中只会保存当前分区片段内的这一部分数据。
首先数据时压缩的，目前支持LZ4、ZSTD、Multiple和Delta算法等，其次数据会按照ORDER BY的声明排序：最后数据是以压缩数据块的形式写入到.bin文件中的。
.bin文件是由多个压缩数据块组成，每个压缩数据块的体积，按照其压缩前的字节大小，都被严格控制在64KB~1MB。
其上下限分别由min_compress_block_size(默认65536)与max_compress_block_size(默认1048576)。
MergeTree在数据具体写入过程中，会按照索引粒度(默认情况下每次取8192行)按批次获取数据并进行处理：
- 单个批次数据size<64kb：如果单个批次数据小于64kb，则继续获取下一批次数据，直至累积到size>=64kb，生成下一个数据块。
- 单个批次64kn<=size<=1MB：如果单个批次数据大小恰好在64kb与1MB之间则直接生成下一个压缩数据块。
- 单个批次数据size > 1md：如果单个批次数据直接超过1md，则首先按照1md大小阶段并生成数据块，剩余的执行上述流程。
数据标记文件与.bin文件一一对应。每一个列字段[Column].bin文件都有一个与之对应的[Column].mrk数据标记文件，用于记录数据在.bin文件中的偏移量信息。
一行标记数据使用一个元组表示，元组内包含两个整形数值的偏移量信息：（压缩文件中的偏移量，解压缩块中的偏移量）
每一行标记数据都表示了一个片段的数据（默认8192行）在.bin压缩文件中的读取位置信息。标记数据不常驻内存，使用LRU缓存策略加快其取用速度。
1、数据写入首先生成分区目录，每一次执行一次写入的INSERT语句都会生成一个新的分区目录（所以每次写的时候别写太少的数据）。在后续的某一个时刻，后台任务会将属于相同分区的目录按照规则合并在一起。
2、按照index_granularity索引粒度，会分别生成primary.idx以及索引（如果声明了二级索引，还会生成二级索引文件）、每一列字段的.mrk数据标记和.bin压缩数据文件
如果一条查询语句没有指定任何where条件，或是置顶哦了where条件，但条件没有匹配到任何索引（分区索引、一级索引、二级索引），那么MergeTree就不能预先减小数据范围。后续查询的时候会扫描所有的分区，一级目录内索引段的最大区间，在这种情况下MergeTree依然能借助数据标记，以多线程的方式同时读取多个压缩数据块，以提升性能。
这种情况是：当一个数据间隔内的数据未压缩大小Size小于64KB，由于会继续读取下一个间隔的数据凑成最小的64KB进行压缩，所以会生成多个数据标记对应一个压缩块中的多个数据间隔。
这种情况是：一个数据间隔内的数据未压缩大小在64KB<SIZE<1MB之内，所以刚好能凑成一个压缩块。
这种情况是：一个间隔内的数据未压缩大小SIZE>1MB
