我尝试将集群中的 flink 版本升级到 1.3.1(以及 1.3.2),但我的任务管理器中出现以下异常:
2018-02-28 12:57:27,120 ERROR org.apache.flink.streaming.runtime.tasks.StreamTask - Error during disposal of stream operator.
org.apache.kafka.common.KafkaException: java.lang.InterruptedException
at org.apache.kafka.clients.producer.KafkaProducer.close(KafkaProducer.java:424)
at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducerBase.close(FlinkKafkaProducerBase.java:317)
at org.apache.flink.api.common.functions.util.FunctionUtils.closeFunction(FunctionUtils.java:43)
at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.dispose(AbstractUdfStreamOperator.java:126)
at org.apache.flink.streaming.runtime.tasks.StreamTask.disposeAllOperators(StreamTask.java:429)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:334)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:702)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.InterruptedException
at java.lang.Object.wait(Native Method)
at java.lang.Thread.join(Thread.java:1252)
at java.lang.Thread.join(Thread.java:1326)
at org.apache.kafka.clients.producer.KafkaProducer.close(KafkaProducer.java:422)
... 7 more
作业管理器显示无法与任务管理器连接。
我在用FlinkKafkaProducer08
。
有任何想法吗?
首先,从上面的堆栈跟踪来看:它是在非正常终止的运算符清理期间抛出的(否则不会执行此代码)。看起来似乎应该紧随导致最初问题的真正异常。您能提供日志的更多部分吗?
如果 JobManager 无法连接到任何应运行您的作业的 TaskManager,整个作业将被取消(并根据您的重试策略重试)。同样的情况也可能发生在您的 TaskManager 端。这可能是根本原因,需要进一步调查。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)