如何使用spark-submit的--properties-file选项在IntelliJ IDEA中启动Spark应用程序？

我正在启动一个使用 Scala 和 IntelliJ IDE 开发的 Spark 项目。

我想知道如何设置-- properties-fileIntelliJ 配置中 Spark 的具体配置。

我正在阅读这样的配置"param1" -> sc.getConf.get("param1")

当我从命令行执行 Spark 作业时，效果就像一个魅力：/opt/spark/bin/spark-submit --class "com.class.main" --master local --properties-file properties.conf ./target/scala-2.11/main.jar arg1 arg2 arg3 arg4

问题是当我使用 IntelliJ Run Configuration 执行作业时VM Options:

1. 我成功了--master参数为-Dspark.master=local
2. 我成功了--conf参数为-Dspark.param1=value1
3. I failed with --properties-file

谁能指出我进行设置的正确方法？

I don't认为可以使用--properties-file从 IntelliJ IDEA 中启动 Spark 应用程序。

spark-submit是提交 Spark 应用程序执行的 shell 脚本，在为 Spark 应用程序创建正确的提交环境之前，它会执行一些额外的操作。

但是，您可以模仿--properties-file通过利用conf/spark-defaults.confSpark 应用程序默认加载。

你可以创建一个conf/spark-defaults.conf under src/test/resources (or src/main/resources) 的内容为properties.conf。那是supposed上班。