有两种不同的 Web UI（一种仅适用于独立模式）。当我以独立模式启动 Spark 时，可以在端口 4040 上使用 Web UI 吗？ （例子：spark-class.cmd org.apache.spark.deploy.master.Master- web ui 8080 可以工作，4040 - 不能。）这些 UI 之间的主要区别是什么？
我是否可以启动 Spark（没有 hadoop、hdfs、yarn 等），保持它并将我的 jars（类）提交到其中？我想在工作完成后查看工作统计数据。我正在尝试这样的事情：
Server: Spark\bin>spark-class.cmd org.apache.spark.deploy.master.Master
Worker: Spark\bin>spark-class.cmd org.apache.spark.deploy.worker.Worker spark://169.254.8.45:7077 --cores 4 --memory 512M
Submit: Spark\bin>spark-submit.cmd --class demo.TreesSample --master spark://169.254.8.45:7077 file:///E:/spark-demo/target/demo.jar
它运行了。它会在端口 4040 上获取新的 WebUI 以执行此任务。我在 8080 上的 Master ui 中看不到任何内容。
目前我使用的是win7 x64，spark-1.5.2-bin-hadoop2.6。如果有必要的话我可以切换到linux。
您应该能够使用以下命令更改独立 Master 的 Web UI 端口spark.master.ui.port or SPARK_MASTER_WEBUI_PORT如中所述仅为网络安全/独立模式配置端口 http://spark.apache.org/docs/latest/security.html#standalone-mode-only.
Standalone Master 的 Web UI 是集群管理器的管理控制台（它恰好是 Apache Spark 的一部分，但也可能是作为 Hadoop YARN 和 Apache Mesos 的独立产品）。话虽如此，人们常常会混淆这两个 Web UI 的共同点，而答案是否定的。
Spark 驱动程序的 Web UI 用于显示计算的进度（作业、阶段、RDD 持久性存储、广播、累加器），而独立 Master 的 Web UI 用于让您了解“操作环境”（又名 Spark）的当前状态独立集群）。
我将有关历史服务器的问题的另一部分留给@苏米特的回答 https://stackoverflow.com/a/34584012/1305344.
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
