kafka-python 中的多处理

我一直在使用 python-kaka 模块从 kafka 代理中消费。我想并行使用具有“x”个分区的同一主题。该文档有这样的内容：

# Use multiple consumers in parallel w/ 0.9 kafka brokers
# typically you would run each on a different server / process / CPU
 consumer1 = KafkaConsumer('my-topic',
                      group_id='my-group',
                      bootstrap_servers='my.server.com')
  consumer2 = KafkaConsumer('my-topic',
                      group_id='my-group',
                      bootstrap_servers='my.server.com')

这是否意味着我可以为我生成的每个进程创建一个单独的消费者？另外，consumer1 和consumer2 消费的消息是否会重叠？

Thanks

是的，您可以在多个线程/进程中创建多个使用者（甚至可以在不同的机器上并行运行它们）。只要所有消费者都使用相同的group.id，不会有重叠。 Kafka 将每个主题分区分配给消费者组中的单个消费者。请注意，使用多于可用主题分区的消费者将导致消费者空闲。