如何使用Azure Python SDK来配置Databricks服务?

2023-12-26

[在这篇文章之前,我询问了如何在没有任何工作区的情况下配置 databricks 服务。现在我问如何为工作区提供服务,因为第一个场景似乎不可行。]

作为一名云管理员,我被要求使用 Azure Python SDK 编写一个脚本,该脚本将为我们的一个大数据开发团队提供 Databricks 服务。

除了 Azure Python SDK 中的 Databricks 之外,我在网上找不到太多关于 Databricks 的信息https://azuresdkdocs.blob.core.windows.net/$web/python/azure-mgmt-databricks/0.1.0/azure.mgmt.databricks.operations.html https://azuresdkdocs.blob.core.windows.net/%24web/python/azure-mgmt-databricks/0.1.0/azure.mgmt.databricks.operations.html

and

https://azuresdkdocs.blob.core.windows.net/$web/python/azure-mgmt-databricks/0.1.0/azure.mgmt.databricks.html https://azuresdkdocs.blob.core.windows.net/%24web/python/azure-mgmt-databricks/0.1.0/azure.mgmt.databricks.html

这些似乎为配置工作空间提供了一些帮助,但我还没有完全做到这一点。

我缺少什么?

EDITS:

感谢@Laurent Mazuel 和@Jim Xu 的帮助。

这是我现在运行的代码以及我收到的错误:

client = DatabricksClient(credentials, subscription_id)
workspace_obj = client.workspaces.get("example_rg_name", "example_databricks_workspace_name")
WorkspacesOperations.create_or_update(
workspace_obj,
"example_rg_name",
"example_databricks_workspace_name",
custom_headers=None,
raw=False,
polling=True
)

error:

TypeError: create_or_update() missing 1 required positional argument: 'workspace_name'

我对这个错误有点困惑,因为我提供了工作区名称作为第三个参数,并且根据本文档 https://azuresdkdocs.blob.core.windows.net/%24web/python/azure-mgmt-databricks/0.1.0/azure.mgmt.databricks.operations.html#azure.mgmt.databricks.operations.WorkspacesOperations,这正是该方法所需要的。

我还尝试了以下代码:

client = DatabricksClient(credentials, subscription_id)
workspace_obj = client.workspaces.get("example_rg_name", "example_databricks_workspace_name")
client.workspaces.create_or_update(
workspace_obj,
"example_rg_name",
"example_databricks_workspace_name"
)

结果是:

 Traceback (most recent call last):
   File "./build_azure_visibility_core.py", line 112, in <module>
     ca_databricks.create_or_update_databricks(SUB_PREFIX)
   File "/home/gitlab-runner/builds/XrbbggWj/0/SA-Cloud/azure-visibility-core/expd_az_databricks.py", line 34, in create_or_update_databricks
     self.databricks_workspace_name
   File "/home/gitlab-runner/builds/XrbbggWj/0/SA-Cloud/azure-visibility-core/azure-visibility-core/lib64/python3.6/site-packages/azure/mgmt/databricks/operations/workspaces_operations.py", line 264, in create_or_update
     **operation_config
   File "/home/gitlab-runner/builds/XrbbggWj/0/SA-Cloud/azure-visibility-core/azure-visibility-core/lib64/python3.6/site-packages/azure/mgmt/databricks/operations/workspaces_operations.py", line 210, in _create_or_update_initial
     body_content = self._serialize.body(parameters, 'Workspace')
   File "/home/gitlab-runner/builds/XrbbggWj/0/SA-Cloud/azure-visibility-core/azure-visibility-core/lib64/python3.6/site-packages/msrest/serialization.py", line 589, in body
     raise ValidationError("required", "body", True)
 msrest.exceptions.ValidationError: Parameter 'body' can not be None.
 ERROR: Job failed: exit status 1

所以serialization.py中的第589行有错误。我不明白我的代码中的错误是在哪里引起的。感谢所有慷慨提供帮助的人!


您需要创建一个databrick客户端,并且工作区将附加到它:

client = DatabricksClient(credentials, subscription_id)
workspace = client.workspaces.get(resource_group_name, workspace_name)

我认为创建没有工作区的服务是不可能的,尝试在门户上创建 databricks 服务,您会看到工作区名称也是必需的 所以使用 SDK 我会查看文档client.workspaces.create_or_update

(我在MS的SDK团队工作)

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何使用Azure Python SDK来配置Databricks服务? 的相关文章

随机推荐

  • UINavigationBar 不与 swift 4 中的 UICollectionView 重叠

    我将导航栏放在 swift 4 中的 UICollectionView 中 当我滚动 collectionView 时 它不会转到后层 而是与导航栏重叠 self collectionview contentInset UIEdgeInse
  • 常见 Linq 表达式的示例 [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 当我编写代码时 我开始确定可以使用 Linq 的地方 我的问题是我对语法还很陌生 我通过示例学习效果最好 但我似乎无法轻松找到我需要的
  • 如何禁用 Surface 4 Pro 中的 WPF 平板电脑支持?

    我继承了一个面向 Net 3 5 的 WPF 应用程序 并且必须将其安装在 Surface Pro 4 I5 中 应用程序挂在不同的点 我观察到动画有时永远不会触发已完成的事件 也许它们在某个点结束 但不是在 Duration 属性中表示的
  • 是否有最佳方法来部署架构以使用微服务模型发送短信?

    我们在后端类中有一个服务 该服务如下所示 Setup AWS SNS AWS config update region eu west 1 accessKeyId process env AWS ACCESS KEY ID secretAc
  • div的一部分透明?

    是否可以仅使 div 的一部分透明 就像 div 中的一定空间一样 例如 您从 div 顶部选择 100px 并且顶部 100px 设置了不透明度 我该怎么做呢 您可以做几件事 尝试使用一半透明而另一半不透明的背景图像 使用 CSS 渐变时
  • 绘制顺序是否会影响对象的深度位置? (包括图片)

    我的场景中有一些对象 即使我指定对象 A 的 y 10 最高的对象 从顶部摄像机我也可以通过对象 A 看到底部对象 这是我场景中的图像 直到今天我才发现一个有趣的属性 模型的绘制顺序很重要 我可能是错的 这是另一张图像 我更改了 ship1
  • 如何从 jQuery 选择器获取 DOM 元素?

    我很难找到真正的DOMElement来自 jQuery 选择器 示例代码
  • 打包许多小部件时的 Tkinter 性能

    我正在使用 Tkinter 在 python 中制作 GUI 并且在将许多小部件打包到屏幕上时遇到了一些性能问题 例如打包 50x50 的按钮网格需要几秒钟 这似乎是在屏幕上绘制 或排列 小部件的过程 这需要时间 我尝试过使用网格和位置几何
  • 将 jQuery 集成到现有的 ASP.NET Web 应用程序中?

    微软最近宣布 http weblogs asp net scottgu archive 2008 09 28 jquery and microsoft aspxJavascript HTML DOM 库jQuery 将被集成进入 ASP N
  • 我应该如何渲染 2D 手电筒效果?

    我正在尝试在 2D 游戏中制作手电筒效果 我的手电筒被表示为以特定角度从实体延伸的线段 手电筒可以指向任何方向 手电筒的强度 手电筒光束的长度 也有所不同 我在尝试找出渲染手电筒效果的最佳 最简单 和最灵活的方法时遇到问题 尤其是平铺地图
  • 单击按钮时显示警报

    我正在使用默认的 Facebook 嵌入代码 div div
  • 通过 Web 服务返回大量结果

    我目前正在开发一个网络服务 返回的结果可能会很大 gt 5mb 这组数据如此之大 并且 Web 服务可以称为同步或异步 这是完全有效的 但我想知道人们对以下内容有何想法 如果连接丢失 整个结果集必须是 重新生成并再次发送 有没有 我可以用任
  • 将 Google Analytics“v4”集成到 Android 应用程序中

    感谢您的回答 但仍然不起作用 我已经创建 public class GAnalytics extends Application The following line should be changed to include the cor
  • $(window).resize() 会在方向改变时触发吗?

    当浏览器窗口大小调整时 我使用它来运行一些代码 window resize callback 当手机和平板电脑的方向发生变化时 我还需要运行此代码 上述事件会火吗 有些设备 浏览器可以 有些则不行 您需要确定支持的浏览器和设备 如果您想安全
  • 如何向使用该程序的人隐藏 MySQL 数据库的密码

    我使用 JDBC 创建了一个 java 程序 它成功连接到我的计算机服务器的 MySQL 数据库 如下所示 try The newInstance call is a work around for some broken Java imp
  • CSS 选择器中标签、id、类和属性的顺序重要吗?

    考虑以下 HTML 标记
  • 如何让 C++ 程序与 AIX 上的 gcc 堆栈保护器功能链接?

    我是一个 AIX 新手 我正在尝试使用 gcc 的堆栈保护器功能来编译程序 我使用 pware 的 GCC 包在服务器上安装了 gcc 我可以编译一个示例程序 例如 include
  • 水平堆叠条形图并向每个部分添加标签

    我正在尝试在 matplotlib 中复制以下图像 看起来barh是我唯一的选择 虽然看起来你不能堆叠barh图表所以我不知道该怎么办 如果你知道更好的Python库来绘制这种东西 请告诉我 这就是我能想到的作为开始的一切 import m
  • 简单的 Java 日期计算

    我想用Java 进行简单的日期计算 例如 计算日期之间的天数差异 时间分量为 0 当然 您可以简单地减去毫秒数 然后除以每天的毫秒数 这样效果很好 直到夏令时进入场景 我意识到 对 天数差异 的不同解释是可能的 特别是无论是否应该考虑时间成
  • 如何使用Azure Python SDK来配置Databricks服务?

    在这篇文章之前 我询问了如何在没有任何工作区的情况下配置 databricks 服务 现在我问如何为工作区提供服务 因为第一个场景似乎不可行 作为一名云管理员 我被要求使用 Azure Python SDK 编写一个脚本 该脚本将为我们的一