来自 Spark 编程指南
要自动从驱动程序故障中恢复,用于运行流应用程序的部署基础架构必须监视驱动程序进程,并在驱动程序失败时重新启动驱动程序。不同的集群管理器有不同的工具来实现这一点。
火花独立
-
火花独立- Spark应用程序驱动程序可以提交在Spark Standalone集群中运行(请参阅集群部署模式),即应用程序驱动程序本身运行在其中一个工作节点上。此外,可以指示独立集群管理器监督驱动程序,并在驱动程序由于非零退出代码或由于运行驱动程序的节点故障而失败时重新启动它。有关更多详细信息,请参阅 Spark Standalone 指南中的集群模式和监督。
-
YARN- Yarn 支持类似的自动重启应用程序的机制。请参阅 YARN 文档了解更多详细信息。
....
那么,问题是如何支持Spark的自动重启
在 Yarn 上流式传输.
如此处记录的:https://spark.apache.org/docs/latest/running-on-yarn.html https://spark.apache.org/docs/latest/running-on-yarn.html
Spark.yarn.maxAppAttempts -
“提交应用程序的最大尝试次数。它不应大于 YARN 配置中的全局最大尝试次数。”
设置“YARN 配置中的全局最大尝试次数”:
https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
纱线.resourcemanager.am.最大尝试-
“最大申请尝试次数。这是所有申请主的全局设置。每个应用主可以通过API指定其个人的最大尝试尝试次数,但个人的数量不能超过全局上限。如果是,资源管理器将覆盖它。默认数量设置为 2,以允许至少重试一次 AM”
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)