如何在 dataproc 提交命令中传递环境变量?

2024-04-07

我希望能够在通过 dataproc 提交提交作业时设置以下环境变量:

  1. SPARK_HOME
  2. PYSPARK_PYTHON
  3. SPARK_CONF_DIR
  4. HADOOP_CONF_DIR

我怎样才能做到这一点?


检查文档在 Dataproc 集群节点上设置环境变量 https://stackoverflow.com/questions/61207679/setting-environment-variables-on-dataproc-cluster-nodes了解如何为 Dataproc 中的不同组件设置环境变量。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在 dataproc 提交命令中传递环境变量? 的相关文章

随机推荐