我希望能够在通过 dataproc 提交提交作业时设置以下环境变量:
- SPARK_HOME
- PYSPARK_PYTHON
- SPARK_CONF_DIR
- HADOOP_CONF_DIR
我怎样才能做到这一点?
检查文档在 Dataproc 集群节点上设置环境变量 https://stackoverflow.com/questions/61207679/setting-environment-variables-on-dataproc-cluster-nodes了解如何为 Dataproc 中的不同组件设置环境变量。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)