有时,kafka-node 消费者从偏移量 0 开始消费,而其默认行为是仅消费较新的消息。然后它不会切换回默认行为。您知道如何解决这个问题以及会发生什么以及其行为突然发生变化吗?代码非常简单,并且无需更改代码即可完成此操作。
var kafka = require("kafka-node") ;
Consumer = kafka.Consumer;
client = new kafka.KafkaClient();
consumer = new Consumer(client, [{ topic: "Topic_23", partition: 0}
]);
consumer.on("message", function(message) {
console.log(message)
});
到目前为止我找到的唯一解决方案是更改kafka主题。然后一切又恢复正常了。有任何想法吗 ?
在 Kafka 中,偏移量不与特定消费者相关联,而是与消费者群体。在您的代码中,您没有提供消费者组,因此,每次启动消费者时,它都会被分配给不同的消费者组,因此,偏移量从0
.
以下应该可以解决问题(显然这是您第一次阅读所有消息时):
var kafka = require("kafka-node") ;
Consumer = kafka.Consumer;
client = new kafka.KafkaClient();
payload = [{
topic: "Topic_23",
partition: 0
}]
var options = {
groupId: 'test-consumer-group',
fromOffset: 'latest'
};
consumer = new Consumer(client, payload, options);
consumer.on("message", function(message) {
console.log(message)
});
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)