当我尝试将 Spark 应用程序提交到 Mesos 集群时,出现以下异常:
17/01/31 17:04:21 警告 NativeCodeLoader:无法为您的平台加载本机 hadoop 库...在适用的情况下使用内置 java 类
17/01/31 17:04:22 错误 SparkContext:初始化 SparkContext 时出错。
org.apache.spark.SparkException:无法解析主 URL:'mesos://localhost:5050' 在 org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2550)在 org.apache.spark.SparkContext.(SparkContext.scala:501)
您可能使用了错误的命令来构建 Spark,例如缺少-Pmesos
。你应该使用构建它./build/mvn -Pmesos -DskipTests clean package
从 Spark 2.1.0 开始。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)