背景
IOTDB单节点的数据插入性能不是很好，所以，想看看集群的效果，那么就需要搭建集群的环境
文件获取
下载地址(选择集群版本)
文件目录
完成IoTDB Cluster安装后，默认会在IoTDB Cluster的根目录下生成下列目录文件：
| 目录 | 说明 |
|---|---|
| conf | 配置文件目录 |
| data | 默认数据文件目录，可通过修改配置文件修改位置 |
| ext | 默认udf目录，可通过修改配置文件修改位置 |
| lib | 库文件目录 |
| logs | 运行日志目录 |
| sbin | 可执行文件目录 |
| tools | 系统工具目录 |
配置文件
位置：{cluster_root_dir}/conf
为方便 IoTDB Server 的配置与管理，IoTDB Server 为用户提供三种配置项，使得您可以在启动服务或服务运行时对其进行配置。
三种配置项的配置文件均位于 IoTDB 安装目录：
$IOTDB_HOME/conf文件夹下，其中涉及 server 配置的共有 4 个文件，分别为：iotdb-cluster.properties、iotdb-engine.properties、logback.xml和iotdb-env.sh(Unix 系统）/iotdb-env.bat(Windows 系统）, 您可以通过更改其中的配置项对系统运行的相关配置项进行配置。配置文件的说明如下：
| 文件 | 文件说明 |
|---|---|
iotdb-env.sh/iotdb-env.bat | 环境配置项的默认配置文件。可配置 JAVA-JVM 的相关系统配置项 |
| iotdb-engine.properties | IoTDB 引擎层系统配置项的默认配置文件。可配置 IoTDB 引擎运行时的相关参数。此外，用户可以在文件中配置 IoTDB 存储时 TsFile 文件的相关信息，如每次将内存中的数据写入到磁盘前的缓存大小 (group_size_in_byte)，内存中每个列打一次包的大小 (page_size_in_byte) 等 |
| logback.xml | 日志配置文件，比如日志级别等 |
| iotdb-cluster.properties | IoTDB 集群所需要的一些配置 |
需要做的修改
IOT集群配置文件
| 文件名 | 配置项 | 配置项描述 |
|---|---|---|
| iotdb-engine.properties | rpc_address | rpc的主机地址 |
| cpr_port | rpc的主机端口 | |
| base_dir | 基础文件目录 | |
| data_dirs | 数据存放目录 | |
| wal_dir | wal包存放目录 | |
| iotdb-cluster.properties | internal_ip | IOTDB 集群各个节点之间内部通信的 IP 地址 |
| internal_meta_port | IoTDB meta 服务端口 | |
| internal_data_port | IoTDB data 服务端口 | |
| cluster_info_public_port | 用于查看集群信息 | |
| seed_nodes | 集群中节点的地址 | |
| default_replica_num | 集群副本数 |
1、单机部署集群
配置
（PS: 在原有文件上修改，更改需要更改的配置，其他维持不变）
可在conf同目录下复制三个节点，并按照下面的配置文件进行修改配置
通过自己修改配置来处理端口和文件目录冲突，可以在一台机器上启动多个实例
# 复制node1
cp -r conf/ node1/
# 复制node2
cp -r conf/ node2/
# 复制node3
cp -r conf/ node3/# 节点1:(默认)
iotdb-cluster.properties
seed_nodes = 127.0.0.1:9003,127.0.0.1:9005,127.0.0.1:9007
default_replica_num = 1
internal_meta_port = 9003
internal_data_port = 40010
# engine文件配置
iotdb-engine.properties
rpc_port=6667
system_dir=data/system data_dirs=data/data wal_dir=data/wal index_root_dir=data/index udf_root_dir=ext/udf tracing_dir=data/tracing# 节点2:
iotdb-cluster.properties
seed_nodes = 127.0.0.1:9003,127.0.0.1:9005,127.0.0.1:9007
default_replica_num = 1
internal_meta_port = 9005
internal_data_port = 40012
# iotdb-engine.properties配置
iotdb-engine.properties
rpc_port=6669
system_dir=node2/system data_dirs=node2/data wal_dir=node2/wal index_root_dir=node2/index udf_root_dir=node2/ext/udf tracing_dir=node2/tracing# 节点3
iotdb-cluster.properties
seed_nodes = 127.0.0.1:9003,127.0.0.1:9005,127.0.0.1:9007
default_replica_num = 1
internal_meta_port = 9007
internal_data_port = 40014
# iotdb-engine.properties配置
iotdb-engine.properties
rpc_port=6671
system_dir=node3/system data_dirs=node3/data wal_dir=node3/wal index_root_dir=node3/index udf_root_dir=node3/ext/udf tracing_dir=node3/tracing启动各个节点
# 启动节点1
nohup ./sbin/start-node.sh ./node1/ >/dev/null 2>&1 &
# 启动节点2
nohup ./sbin/start-node.sh ./node2/ >/dev/null 2>&1 &
# 启动节点3
nohup ./sbin/start-node.sh ./node3/ >/dev/null 2>&1 &
2、3节点部署集群
配置
（PS: 在原有文件上修改，更改需要更改的配置，其他维持不变）
这里只更改了其中几个参数，其他参数依据需要进行更改
# 各个节点(配置):
# iotdb-cluster.properties配置项
seed_nodes = A_private_Ip:9003,B_private_Ip:9003,C_private_Ip:9003
default_replica_num = 3
internal_ip = A_private_Ip (or B_private_Ip, C_private_Ip)
# iotdb-enginer.properties配置项
rpc_address = A_public_Ip (or B_private_Ip, C_public_Ip)在各个节点上启动服务
# 启动节点1
nohup ./sbin/start-node.sh >/dev/null 2>&1 &备注
保证三个节点的 6567, 6667, 9003, 9004, 40010, 40011 和 31999 端口是开放的
3、启动后查看
1、使用cli工具链接数据库（start-cli.sh）
当集群部署的时候，该命令需要指定主机地址
2、查看启动日志
附录
集群配置项解读
| 名字 | internal_ip |
|---|---|
| 描述 | IOTDB 集群各个节点之间内部通信的 IP 地址，比如心跳、snapshot 快照、raft log 等 |
| 类型 | String |
| 默认值 | 127.0.0.1 |
| 改后生效方式 | 重启服务生效，集群建立后不可再修改 |
| 名字 | internal_meta_port |
|---|---|
| 描述 | IoTDB meta 服务端口，用于元数据组（又称集群管理组）通信，元数据组管理集群配置和存储组信息** IoTDB 将为每个 meta 服务自动创建心跳端口。默认 meta 服务心跳端口为internal_meta_port+1，请确认这两个端口不是系统保留端口并且未被占用** |
| 类型 | Int32 |
| 默认值 | 9003 |
| 改后生效方式 | 重启服务生效，集群建立后不可再修改 |
| 名字 | internal_data_port |
|---|---|
| 描述 | IoTDB data 服务端口，用于数据组通信，数据组管理数据模式和数据的存储** IoTDB 将为每个 data 服务自动创建心跳端口。默认的 data 服务心跳端口为internal_data_port+1。请确认这两个端口不是系统保留端口并且未被占用** |
| 类型 | Int32 |
| 默认值 | 40010 |
| 改后生效方式 | 重启服务生效，集群建立后不可再修改 |
| 名字 | cluster_info_public_port |
|---|---|
| 描述 | 用于查看集群信息（如数据分区）的 RPC 服务的接口 |
| 类型 | Int32 |
| 默认值 | 6567 |
| 改后生效方式 | 重启服务生效 |
| 名字 | open_server_rpc_port |
|---|---|
| 描述 | 是否打开单机模块的 rpc port，用于调试模式，如果设置为 true，则单机模块的 rpc port 设置为rpc_port (in iotdb-engines.properties) + 1 |
| 类型 | Boolean |
| 默认值 | false |
| 改后生效方式 | 重启服务生效，集群建立后不可再修改 |
| 名字 | seed_nodes |
|---|---|
| 描述 | 集群中节点的地址，{IP/DOMAIN}:internal_meta_port格式，用逗号分割；对于伪分布式模式，可以都填写localhost，或是127.0.0.1 或是混合填写，但是不能够出现真实的 ip 地址；对于分布式模式，支持填写 real ip 或是 hostname，但是不能够出现localhost或是127.0.0.1。当使用start-node.sh(.bat)启动节点时，此配置意味着形成初始群集的节点，每个节点的seed_nodes应该一致，否则群集将初始化失败；当使用add-node.sh(.bat)添加节点到集群中时，此配置项可以是集群中已经存在的任何节点，不需要是用start-node.sh(bat)构建初始集群的节点。 |
| 类型 | String |
| 默认值 | 127.0.0.1:9003,127.0.0.1:9005,127.0.0.1:9007 |
| 改后生效方式 | 重启服务生效 |
| 名字 | rpc_thrift_compression_enable |
|---|---|
| 描述 | 是否开启 thrift 压缩通信，注意这个参数要各个节点保持一致，也要与客户端保持一致，同时也要与iotdb-engine.properties中rpc_thrift_compression_enable参数保持一致 |
| 类型 | Boolean |
| 默认值 | false |
| 改后生效方式 | 重启服务生效，需要整个集群同时更改 |
| 名字 | default_replica_num |
|---|---|
| 描述 | 集群副本数 |
| 类型 | Int32 |
| 默认值 | 3 |
| 改后生效方式 | 重启服务生效，集群建立后不可更改 |
| 名字 | multi_raft_factor |
|---|---|
| 描述 | 每个数据组启动的 raft 组实例数量，默认每个数据组启动一个 raft 组 |
| 类型 | Int32 |
| 默认值 | 1 |
| 改后生效方式 | 重启服务生效，集群建立后不可更改 |
| 名字 | cluster_name |
|---|---|
| 描述 | 集群名称，集群名称用以标识不同的集群，一个集群中所有节点的 cluster_name 都应相同 |
| 类型 | String |
| 默认值 | default |
| 改后生效方式 | 重启服务生效 |
| 名字 | connection_timeout_ms |
|---|---|
| 描述 | 同一个 raft 组各个节点之间的心跳超时时间，单位毫秒 |
| 类型 | Int32 |
| 默认值 | 20000 |
| 改后生效方式 | 重启服务生效 |
| 名字 | read_operation_timeout_ms |
|---|---|
| 描述 | 读取操作超时时间，仅用于内部通信，不适用于整个操作，单位毫秒 |
| 类型 | Int32 |
| 默认值 | 30000 |
| 改后生效方式 | 重启服务生效 |
| 名字 | write_operation_timeout_ms |
|---|---|
| 描述 | 写入操作超时时间，仅用于内部通信，不适用于整个操作，单位毫秒 |
| 类型 | Int32 |
| 默认值 | 30000 |
| 改后生效方式 | 重启服务生效 |
| 名字 | min_num_of_logs_in_mem |
|---|---|
| 描述 | 删除日志操作执行后，内存中保留的最多的提交的日志的数量。增大这个值将减少在 CatchUp 使用快照的机会，但也会增加内存占用量 |
| 类型 | Int32 |
| 默认值 | 100 |
| 改后生效方式 | 重启服务生效 |
| 名字 | max_num_of_logs_in_mem |
|---|---|
| 描述 | 当内存中已提交的日志条数达到这个值之后，就会触发删除日志的操作，增大这个值将减少在 CatchUp 使用快照的机会，但也会增加内存占用量 |
| 类型 | Int32 |
| 默认值 | 1000 |
| 改后生效方式 | 重启服务生效 |
| 名字 | log_deletion_check_interval_second |
|---|---|
| 描述 | 检查删除日志任务的时间间隔，每次删除日志任务将会把已提交日志超过 min_num_of_logs_in_mem 条的最老部分删除，单位秒 |
| 类型 | Int32 |
| 默认值 | 60 |
| 改后生效方式 | 重启服务生效 |
| 名字 | enable_auto_create_schema |
|---|---|
| 描述 | 是否支持自动创建 schema，这个值会覆盖iotdb-engine.properties中enable_auto_create_schema的配置 |
| 类型 | BOOLEAN |
| 默认值 | true |
| 改后生效方式 | 重启服务生效 |
| 名字 | consistency_level |
|---|---|
| 描述 | 读一致性，目前支持 3 种一致性：strong、mid、weak。strong consistency 每次操作都会尝试与 Leader 同步以获取最新的数据，如果失败（超时），则直接向用户返回错误； mid consistency 每次操作将首先尝试与 Leader 进行同步，但是如果失败（超时），它将使用本地当前数据向用户提供服务； weak consistency 不会与 Leader 进行同步，而只是使用本地数据向用户提供服务 |
| 类型 | strong、mid、weak |
| 默认值 | mid |
| 改后生效方式 | 重启服务生效 |
| 名字 | is_enable_raft_log_persistence |
|---|---|
| 描述 | 是否开启 raft log 持久化 |
| 类型 | BOOLEAN |
| 默认值 | true |
| 改后生效方式 | 重启服务生效 |