我想以编程方式添加一个(Python Wheel)库到/Shared
Databricks 上的工作区。在 GUI 中(工作区 > 导入 > 库)很容易做到,但我不知道如何在 Databricks CLI 中做到这一点。
所以我想我有两种可能的策略:
- 将其安装为库
- 将其作为文件复制到工作区
看来 1) 是不可行的,因为library术语专用于集群上的实际安装,而 2) 不可行,因为workspace import
需要语言(Python、R、SQL 等),并将文件解释为脚本。
所以我对如何解决这个问题有点迷失。
根据我的观察:
Note: databricks workspace import
“将文件从本地导入到 Databricks 工作区。”
我尝试过databricks workspace import
cmdlet 并理解它作为文件复制。
如何使用 Azure Databricks CLI 安装库?
使用 DBFS CLI 将库从本地目录复制到 DBFS:
databricks fs cp "C:\Users\Azurewala\Downloads\wheel-0.33.4-py2.py3-none-any.whl" dbfs:/FileStore/jars
使用 API 或 UI 创建集群。
使用获取集群 IDdatabricks clusters list
并复制 cluster-id。
使用 DBFS CLI 将 DBFS 中的库附加到集群:
databricks libraries install --cluster-id "0802-090441-honks846" --whl "dbfs:/FileStore/jars/wheel-0.33.4-py2.py3-none-any.whl"
使用 Azure Databricks CLI 成功安装库:
希望这可以帮助。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)