我已按照说明进行操作here https://argus-sec.com/monitoring-spark-prometheus/启用指标导出到 Prometheus for Spark。为了不仅可以从作业中导出指标，还可以从主控器和工作器中导出指标，我为所有 Spark 驱动程序、主控器、工作器和执行器启用了 jmx 代理。
这会导致问题，因为 Spark Worker 和执行器位于同一台机器上，因此，我需要将不同的 jmx 端口传递给它们。如果我在 Spark 工作程序和执行程序之间存在 1-1 关系，这不是问题，但是，在每个工作程序有多个执行程序的情况下，它会崩溃，因为在 Spark 作业期间无法为特定执行程序指定不同的端口提交。
当作业以集群模式提交时，情况会更糟，因为驱动程序、工作程序和执行程序都可能并置在同一节点上。
你是如何解决这个问题的？
None
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
