我正在使用 MirrorMaker2 进行灾难恢复。
Kafka 2.7应该支持自动消费者偏移同步 https://cwiki.apache.org/confluence/display/KAFKA/KIP-545:+support+automated+consumer+offset+sync+across+clusters+in+MM+2.0
这是我正在使用的 yaml 文件(我使用 strimzi 来创建它)
所有源集群主题都会复制到目标集群中。
还...检查点.内部主题是在目标集群中创建的,其中包含同步的所有源集群偏移量,但我没有看到这些偏移量被转换为目标集群_consumer_offsets主题,这意味着当我在目标集群中启动消费者(同一消费者组)时,它将从头开始读取消息。
我的期望是,在允许自动消费者偏移量后,同步来自源集群的所有消费者偏移量,这些偏移量已翻译并存储在目标集群的 _consumer_offsets 主题中。
有人可以澄清我的期望是否正确,如果不正确,它应该如何运作。
The sync.group.offsets.enabled
设置是为了MirrorCheckpointConnector
.
我不完全确定 Strimzi 如何运行 MirrorMaker 2,但我认为您需要将其设置为:
checkpointConnector:
config:
checkpoints.topic.replication.factor: 1
sync.group.offsets.enabled: "true"
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)