我正在研究 kafka、spark-streaming 并试图实现 Reconciliation。
制作人寄语：大约 5 个字段以“,”分隔，其中之一是 UUID（唯一标识符）
例如：A、B、生产者、UUID_1、E
消费者留言：大约 5 个字段以“,”分隔，其中之一是 UUID
例如：A、B、消费者、UUID_1、E
这里的UUID是生产者和消费者之间的关系，它是dynamic
在卡夫卡中，我需要某种过滤，所有特定的生产者/消费者消息都将位于一个特定的主题或分区中。
我确实有如下想法但无法实现：
根据我的研究，不允许动态分区，这是正确的吗？
所以我看到的唯一选择是，根据收到的 UUID 创建一个动态主题，然后将每个 UUID 特定消息路由到该主题，一旦消息被消耗，就需要删除该主题。这是正确的方法吗？如果是，如何实现这一目标？
根据我的研究，不允许动态分区，这是正确的吗？
分区可以增加，但不能减少。
根据接收到的UUID创建动态主题
不要这样做，它违反了主题语义，主题意味着同类消息。
只需将“UUID_1”设置到消息“Key”字段中，因为 Kafka 根据“Key”的哈希值将相同的“Key”消息发送到相同的“Partition”。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
