我需要获取 Spark 中当前任务的 ID。我一直在Google和官方API中搜索,但我能找到的唯一ID是执行者ID和RDD的ID。有谁知道如何获取任务的唯一ID?我看到班级TaskInfo
正是我正在寻找的东西,但我不知道如何获取此类的实例。
为了获取特定的任务 ID,您可以使用任务上下文 https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/TaskContext.html#taskAttemptId():
import org.apache.spark.TaskContext;
textFile.map( x -> {
TaskContext tc = TaskContext.get();
System.out.println(tc.taskAttemptId());
});
请记住,特定的 println 将打印在当前执行的节点上,而不是驱动程序控制台上。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)