当应用程序 jar 位于 hdfs 中时 Spark-submit 不起作用

2024-02-02

我正在尝试使用 bin/spark-submit 运行 Spark 应用程序。当我在本地文件系统中引用我的应用程序 jar 时,它可以工作。但是,当我将应用程序 jar 复制到 hdfs 中的目录时,出现以下异常:

警告:跳过远程 jar hdfs://localhost:9000/user/hdfs/jars/simple-project-1.0-SNAPSHOT.jar。 java.lang.ClassNotFoundException:com.example.SimpleApp

这是命令:

$ ./bin/spark-submit --class com.example.SimpleApp --master local hdfs://localhost:9000/user/hdfs/jars/simple-project-1.0-SNAPSHOT.jar

我使用的是hadoop版本2.6.0,spark版本1.2.1


当我使用时,它对我有用的唯一方法

--主纱线簇

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

当应用程序 jar 位于 hdfs 中时 Spark-submit 不起作用 的相关文章

随机推荐