以编程方式将库导入到 Databricks 中的工作区

2024-03-26

我想以编程方式添加一个(Python Wheel)库到/SharedDatabricks 上的工作区。在 GUI 中(工作区 > 导入 > 库)很容易做到,但我不知道如何在 Databricks CLI 中做到这一点。

所以我想我有两种可能的策略:

  1. 将其安装为库
  2. 将其作为文件复制到工作区

看来 1) 是不可行的,因为library术语专用于集群上的实际安装,而 2) 不可行,因为workspace import需要语言(Python、R、SQL 等),并将文件解释为脚本。

所以我对如何解决这个问题有点迷失。


根据我的观察:

Note: databricks workspace import“将文件从本地导入到 Databricks 工作区。”

我尝试过databricks workspace importcmdlet 并理解它作为文件复制。

如何使用 Azure Databricks CLI 安装库?

使用 DBFS CLI 将库从本地目录复制到 DBFS:

databricks fs cp "C:\Users\Azurewala\Downloads\wheel-0.33.4-py2.py3-none-any.whl" dbfs:/FileStore/jars

使用 API 或 UI 创建集群。

使用获取集群 IDdatabricks clusters list并复制 cluster-id。

使用 DBFS CLI 将 DBFS 中的库附加到集群:

databricks libraries install --cluster-id "0802-090441-honks846" --whl "dbfs:/FileStore/jars/wheel-0.33.4-py2.py3-none-any.whl"

使用 Azure Databricks CLI 成功安装库:

希望这可以帮助。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

以编程方式将库导入到 Databricks 中的工作区 的相关文章

随机推荐

  • 释放从新放置分配的内存

    考虑下面的代码 include iostream include conio h using namespace std class sample private int i public sample int ii 0 i ii cout
  • 打开android studio配置文件时发生OOM错误

    安卓版本 8 0 0 当我调用file list时 如果我打开android studio profiler来监控内存 很容易出现OOM错误 如下 java lang OutOfMemoryError EnsureLocalCapacity
  • .NET Core 初始请求缓慢

    面对创建新的小型服务的任务 我想知道是否有一些最佳实践指南来确保该服务的快速响应时间 包括前 1 3 个请求 首先 我喜欢使用 NET Core 和 webapi 模板 NET Core 6 创建服务 但是创建其中一些后 我注意到服务的初始
  • Java 数组和列表的共同祖先

    在 NET 中 数组和列表都以 Enumerable 作为祖先 因此接受 Enumerable 作为参数的方法可以同时接收数组和列表作为其参数 我想知道Java中是否有类似的东西 不 Java 中没有类似的东西 我通常建议你设计 API 方
  • setTimeOut 和本地函数

    我正在开发 Axe 4 0 我正在尝试在具有本地函数的作业中使用 Object setTimeOut 方法 如中所述msdn 文档 http msdn microsoft com en US library aa857865 28v ax
  • 在类模板中为成员函数定义单个模板,并在成员函数中使用两个模板

    我目前正在学习模板如何在 C 中工作 特别是 我正在查看类模板中的单个成员函数模板 为了理解我的意思 代码如下 foo h template
  • 向光标位置插入元素(表格)

    我想创建一个具有自定义样式的新 Table 元素 并将其附加到文档中的当前光标位置 我发现可以通过以下方式获取当前位置 var cursor DocumentApp getActiveDocument getCursor 返回一个 Posi
  • ASP.Net 中 URL 中的 UrlEncoding Plus(+)

    我正在对一个字符串进行加密和 Base64 处理 一切都运行良好 直到我从 QueryString 集合中检索加密的字符串 加密文本包含一个加号 当我检索加密的字符串时 曾经有加号的地方现在变成了空格 正如您可以想象的那样 这不会解密 我尝
  • 搜索颠覆历史(全文)

    有没有办法对颠覆存储库执行全文搜索 包括所有历史记录 例如 我编写了一个在某处使用过的功能 但后来不需要它 所以我对文件进行了 svn rm d 但现在我需要再次找到它以将其用于其他用途 svn 日志可能会说 删除了未使用的内容 之类的内容
  • 具有可点击区域的可缩放 SVG - Android

    我正在做一个非常简单的应用程序 它需要显示一个包含广义世界地图的 SVG 通过单击城市名称 svg 矩形 我需要显示与该城市对应的另一个 SVG 此外 所有 SVG 都必须支持缩放和平移 我设法让 SVG 支持缩放和平移 效果非常完美 为此
  • Excel 加载项失败并显示 0x8004063E

    我有一个 Excel 添加 它曾经完美地工作 最近 许多客户收到以下错误 在这个问题的最后 环境详情 Windows 7 8 64 位 微软 Office 2013 64 位 Add in是在 net 3 5下编译的 任何帮助将不胜感激 H
  • Scala 模板将样式应用于 inputText 的标签 [Play 2 HTML5 辅助标签]

    我正在使用带有输入助手的 scala 模板 我使用的类属性应用样式
  • C# - Silverlight 中 .NET ArrayList.ToArray(Type) 的替换

    下面是我编写的一个简单方法 非常简化 所以我希望它仍然能够理解要点 用于获取字符串中数组元素的字符串表示形式 并将它们转换为这些值的实际数组 t 是数组的类型 DeserializeArray string sArrayElements o
  • 在 Tomcat 上安装 Sonar 和 Jenkins

    我有一个 tomcat 服务器 我想在上面安装 Jenkins 和 Sonar 我使用的是 debian 发行版 因此我通过 apt get 获得了 tomcat6 和 Jenkins 当我将 jenkins war 复制到 tomcat6
  • python:从程序运行交互式 python shell

    我经常遇到这样的情况 我将编写一个脚本 并且我正在编写脚本的一部分 我想以交互方式使用一些变量 到达该部分需要运行我已经编写的脚本的大部分 在这种情况下 从 shell 内部运行该程序并非易事 我必须以某种方式重新创建该函数的条件 我想做的
  • 为什么这不能是一个原始的?

    我正在摆弄 JavaScript 并注意到this永远不可能是原始的 我在说什么 让我解释 以这个函数为例 function test return typeof this test call Abc object test call 12
  • MVP 观点到底有多蠢?

    我正在尝试学习 MVP 但有些事情让我困惑 如果Presenter使用视图作为界面 那么View就不能只是控件的简单渲染 想象一下 尝试编写一个打字练习游戏 其中单词是随机生成到 UI 中的 用户必须在单词从屏幕上落下时输入单词 所以视图将
  • 以编程方式搜索 GMail?

    有没有什么方法可以以编程方式搜索 GMail 最好使用 C 例如 我想获取与搜索匹配的所有电子邮件标签 MyLabel 来自 电子邮件受保护 cdn cgi l email protection 以便我可以根据需要解析电子邮件正文 我发现的
  • 鼠标悬停在绝对定位的 div 上触发

    客观的 当将鼠标悬停在表格单元格上时 表格单元格的右上角会出现一个小的放大镜图标 将鼠标悬停在放大镜图标上并单击它将打开一个对话框窗口 以显示有关特定表格单元格中的项目的详细信息 我想为数百个表格单元重复使用相同的图标 而不是每次都重新创建
  • 以编程方式将库导入到 Databricks 中的工作区

    我想以编程方式添加一个 Python Wheel 库到 SharedDatabricks 上的工作区 在 GUI 中 工作区 gt 导入 gt 库 很容易做到 但我不知道如何在 Databricks CLI 中做到这一点 所以我想我有两种可