我有一个 EMR (emr-5.30.0) 集群,我尝试从 S3 中的引导文件启动。引导程序文件的内容是:
#!/bin/bash
sudo pip3 install --user \
matplotlib \
pandas \
pyarrow \
pyspark
我的 stderr 文件中的错误是:
WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.
Command "python setup.py egg_info" failed with error code 1 in /mnt/tmp/pip-build-br9bn1h3/pyspark/
看起来很简单......不知道发生了什么。任何帮助表示赞赏。
EDIT:
尝试了@Dennis Traub的建议并得到同样的错误。新的 EMR 引导程序如下所示:
#!/bin/bash
sudo pip3 install --upgrade setuptools
sudo pip3 install --user matplotlib pandas pyarrow pyspark
#!/bin/bash
sudo python3 -m pip install matplotlib pandas pyarrow
请勿安装pyspark
。它应该已经存在于 EMR 中并具有所需的配置。安装可能会出现问题。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)