我有一个 kafka 集群,有 3 个代理和几个主题,每个主题有 5 个分区。现在我想设置分区的复制因子。
我可以为kafka主题分区设置的最大复制因子是多少?
复制因子确定每个分区的复制数量,这允许 Kafka 自动故障转移到这些副本
当集群中的服务器发生故障时消息仍然可用
如果出现故障
分区副本分布在代理之间,一个代理应该保留一个副本,这意味着我们不能拥有比代理数量更多的副本
最大复制因子
这也是为了确定最小同步副本数,这意味着它将始终小于或等于复制因子
min.insync.replicas 表示
最小同步副本数是您愿意随时在线以继续运行的数据的最小副本数
并接受新传入的消息。
理想情况下复制因子为 3如上所述很好,但是,根据用例,您可以将复制因子调整为小于 2(意味着高风险),同时大于 3 可提供更好的可用性,但需要更多的开销和更大的大小。
在决定复制因子时,还要考虑以下几点:
A): 经纪商规模复制因子直接影响整体代理磁盘大小
因此,高复制因子需要更大的磁盘大小
B)大量分区复制:如果存在大量分区复制,则会增加额外的延迟。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)