Kafka 在生产者 vs 主题上设置压缩类型

2024-02-22

在kafka中启用压缩的以下方式有什么区别:

方法一:使用命令创建主题:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --config compression.type=gzip --topic test

方法2:在Kafka Producer Client API中设置属性compression.type = gzip。

使用方法 1 时,我获得了更好的压缩和更高的吞吐量。

如果我使用方法1,是否意味着压缩发生在broker端,而在方法2中,消息在Producer端压缩然后发送到broker?


如果我使用方法1,是否意味着压缩发生在broker端?

这取决于。如果生产者没有设定compression.type或者设置不同的,那么消息将在代理端被压缩。但是,如果生产者也设置compression.type to gzip,无需在broker端再次压缩。实际上,还必须满足其他严格条件才能确保不需要压缩,尽管它有点超出了范围。

方法2中,消息在Producer端压缩,然后发送给broker?

是的,如果生产者设置了它的compression.type 配置,记录将在发送到代理之前被压缩。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Kafka 在生产者 vs 主题上设置压缩类型 的相关文章

随机推荐