我已经在 Spark 应用程序中定义了一个默认配置，该配置位于src/main/resources/reference.conf. I use ConfigFactory.load()来获取配置。
当我运行应用程序时spark-submit它采用这些默认值。但是，当我只想覆盖一些可用的配置时reference.conf并提供application.conf，它似乎没有接受这些覆盖。从文档中我认为application.conf合并于reference.conf打电话时load()，这样就没有必要重新定义中的所有内容application.conf.
My reference.conf看起来像这样：
hdfs {
rootDir: "/foo"
dataDir: "hdfs://"${hdfs.rootDir}"/bar"
}
db {
driver: "com.mysql.jdbc.Driver"
...
}
...
现在想做的是有一个application.conf比如说，只有一个习惯hdfs部分，因为其余部分是相同的。
我通过提供来运行我的 Spark 应用程序application.conf在两个--files参数，在--driver-class-path, and --conf spark.executor.extraClassPath。这可能有点矫枉过正，但当我创建一个副本时它会起作用reference.conf并更改一些字段。
我缺少什么？
None
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
