我正在 15 台机器的裸机集群上构建 Flink 流应用程序原型。我使用带有 90 个任务槽 (15x6) 的纱线模式。
该应用程序从单个 Kafka 主题读取数据。 Kafka主题有15个分区，所以我也将源算子的并行度设置为15。但是，我发现 Flink 在某些情况下会将 2-4 个消费者任务实例分配给同一个任务管理器。这会导致某些节点受到网络限制（Kafka 主题正在服务大量数据，并且机器只有 1G 网卡）并导致整个数据流出现瓶颈。
有没有办法“强制”或以其他方式指示 Flink 在所有任务管理器之间均匀分配任务，也许是循环？如果没有，有没有办法手动将任务分配到特定的任务管理器插槽？
据我所知，这是不可能的。将任务调度到任务槽中的作业管理器只知道任务槽。它不知道某些任务槽属于一个任务管理器，而其他任务槽属于另一个任务管理器。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
