我试图弄清楚如何对卡夫卡消费者进行负载测试。
在我的应用程序中，消费者从 kafka 读取消息并做了很多工作，其中大部分是在数据库中写入内容。
由于这对我的团队来说是一个重要的过程，因此我希望能够对消费者进行负载测试，并能够获得一些有关消费情况的报告。
其最终目标是在我们的 CI 中生成报告，我们将能够看到相同消息负载的消耗演变。
可悲的是，我真的不知道如何才能实现这样的目标。
您知道我该如何做到这一点吗？
截至目前，我正在考虑在专用环境中复制生产主题，每次我想要执行负载测试时，我都会移动偏移量。
这无助于我获得消耗报告。
感谢您阅读我的内容。
有一个单独的“负载测试”主题是一个好主意。根据主题保留策略（大小/时间），您可以删除要测试的应用程序的消费者偏移量并让它从“最早”开始消费。
我不了解您的架构，但我强烈建议您持续监控您的应用程序：编写适当的指标并密切关注它们。在 AWS 上运行时，CloudWatch 是显而易见的选择。但还有许多其他服务可以将指标数据发布到（Grafana Cloud、New Relic 等）。
如果您希望持续运行负载测试作为 CI 管道的一部分，您应该选择固定输入。例如，使用一组固定的 100k 消息用于测试。否则，您的结果将不是确定性的并且难以比较。如果您的“核心”数据处理可以在不依赖 Kafka 本身的情况下运行，那么这确实很有帮助：与输入无关，消息可能来自文件、数据库或 Kafka 主题。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
