异常：java.lang.Exception：使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。在火花中

我是新的阿帕奇火花。我已经在spark独立模式下测试了一些应用程序。但我想运行应用程序yarn模式。我正在windows中运行apache-spark 2.1.0。这是我的代码

c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar

例外：当使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。在火花中

所以从搜索网站。我创建了一个名为 Hadoop_CONF_DIR 的文件夹，并将 hive site.xml 放入其中并指向环境变量，之后我运行了 Spark-submit 然后我得到了

连接拒绝异常我认为我无法正确配置纱线模式。有人可以帮助我解决这个问题吗？我需要单独安装Hadoop和yarn吗？我想以伪分布式模式运行我的应用程序。请帮助我在Windows中配置yarn模式，谢谢

您需要导出两个变量HADOOP_CONF_DIR and YARN_CONF_DIR使您的配置文件对纱线可见。如果您使用的是 Linux，请在 .bashrc 文件中使用以下代码。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在windows下需要设置环境变量。

希望这可以帮助！