我正在尝试使用 AWS 控制台向 AWS EMR 集群提交 Spark 作业。但它失败了：
Cannot load main class from JAR。当我将主类指定为时，作业成功运行--class in ArgumentsAWS EMR 控制台 -> 添加步骤中的选项。
在本地计算机上，当没有指定主类时，这项工作似乎工作得很好，如下所示：
./spark-submit /home/astro/spark-programs/SpotEMR/MyJob.jar
我已使用运行配置将主类设置为 jar。避免将主类传递为的主要原因--class是的，我必须使用 EMRAcivity 在 AWS Datapipeline 中运行此作业。在 AWS Datapipeline 中，当前无法为正在提交的作业指定主类。
任何帮助将不胜感激。
其实，你can使用 EMRActivity 和 AWS Datapipeline 传递作业的主类。
See
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emractivity.html https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emractivity.html启动一个EMRActivity using step.
也https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-submit-step.html https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-submit-step.html使用 EMR 提交 Spark 作业step有一个主要课程。
该步骤如下所示：
command-runner.jar,spark-submit,--class,org.apache.spark.examples.SparkPi
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
