实际上,我想在我的 Azure databricks 集群上安装一个库,但我无法使用 UI 方法,因为每次我的集群发生变化并且在转换过程中我无法使用 UI 将库添加到其中。是否有任何 databricks 实用程序命令可以执行此操作?
@CHEEKATLAPRADEEP-MSFT 的回答太棒了!只是一个补充:
如果您希望所有笔记本/集群安装相同的库,您可以利用集群范围或全局(新功能)初始化脚本。
下面的示例从 PyPi 检索包:
#!/bin/sh
# Install dependencies
pip install --upgrade boto3 psycopg2-binary requests simple-salesforce
您甚至可以使用私有包索引 - 例如 AWS CodeArtifact:
#Install AWS CLI
pip install --upgrade awscli
# Configure pip
aws codeartifact login --region <REGION> --tool pip --domain <DOMAIN> --domain-owner <AWS_ACCOUNT_ID> --repository <REPO>
pip config set global.extra-index-url https://pypi.org/simple
注意:必须允许集群实例配置文件获取 CodeArtifact 凭证(arn:aws:iam::aws:policy/AWSCodeArtifactReadOnlyAccess
).
Cheers
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)