我需要将 Spark 程序的 HDFS 复制因子从 3 更改为 1。在搜索时，我想出了“spark.hadoop.dfs.replication”属性，但是通过查看https://spark.apache.org/docs/latest/configuration.html https://spark.apache.org/docs/latest/configuration.html，它似乎已经不存在了。那么，如何从 Spark 程序或使用 Spark-submit 更改 hdfs 复制因子？
你应该使用spark.hadoop.dfs.replication在 Spark 应用程序中设置 HDFS 中的复制因子。但为什么你找不到它https://spark.apache.org/docs/latest/configuration.html https://spark.apache.org/docs/latest/configuration.html？那是因为那个链接ONLY包含spark特定配置。事实上，您设置的任何属性都以spark.hadoop.*将自动转换为 Hadoop 属性，剥离开头“spark.haddoop.“。您可以在以下位置找到它的实施方式：https://github.com/apache/spark/blob/d7b1fcf8f0a267322af0592b2cb31f1c8970fb16/core/src/main/scala/org/apache/spark/deploy/SparkHadoopUtil.scala https://github.com/apache/spark/blob/d7b1fcf8f0a267322af0592b2cb31f1c8970fb16/core/src/main/scala/org/apache/spark/deploy/SparkHadoopUtil.scala
你应该寻找的方法是appendSparkHadoopConfigs
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
