为什么向 Mesos 提交 Spark 应用程序会失败并显示“无法解析主 URL:'mesos://localhost:5050'”?

2023-12-31

当我尝试将 Spark 应用程序提交到 Mesos 集群时,出现以下异常:

17/01/31 17:04:21 警告 NativeCodeLoader:无法为您的平台加载本机 hadoop 库...在适用的情况下使用内置 java 类 17/01/31 17:04:22 错误 SparkContext:初始化 SparkContext 时出错。 org.apache.spark.SparkException:无法解析主 URL:'mesos://localhost:5050' 在 org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2550)在 org.apache.spark.SparkContext.(SparkContext.scala:501)


您可能使用了错误的命令来构建 Spark,例如缺少-Pmesos。你应该使用构建它./build/mvn -Pmesos -DskipTests clean package从 Spark 2.1.0 开始。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

为什么向 Mesos 提交 Spark 应用程序会失败并显示“无法解析主 URL:'mesos://localhost:5050'”? 的相关文章

随机推荐