创建并运行集群后,是否可以在 Google Dataproc 集群中安装 python 包?
我尝试使用“pip install xxxxxxx
“在主命令行中,但它似乎不起作用。
Google的Dataproc文档没有提及这种情况。
创建集群后,这通常是不可能的。我建议使用初始化操作来执行此操作。
正如你所注意到的,pip
默认情况下也不可用。所以你会想跑easy_install pip
其次是pip install
命令。
最后,如果您打算在任何自动化中使用此集群,和/或您想要密封性,我建议创建一个wheel
您存储在 GCS 中并在 init 操作中下载。然后你就可以安装你的轮子了。 Wheel 的另一个好处是比直接从 pip 安装许多包更快。
2019年更新
请参阅本教程,了解如何在 Dataproc 上配置 Python 环境:https://cloud.google.com/dataproc/docs/tutorials/python-configuration https://cloud.google.com/dataproc/docs/tutorials/python-configuration
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)