Azure Databricks:访问防火墙后面的 Blob 存储

2024-03-25

我正在从 Azure Databricks 笔记本读取 Azure Blob 存储帐户(第 2 代)上的文件。两项服务均位于同一地区(西欧)。一切正常,除非我在存储帐户前面添加防火墙。我选择允许“受信任的 Microsoft 服务”:

但是,现在运行笔记本会出现访问被拒绝错误:

com.microsoft.azure.storage.StorageException: This request is not authorized to perform this operation.

我尝试直接从 Spark 访问存储并通过安装它dbutils,但同样的事情。

我会假设 Azure Databricks 算作值得信赖的 Microsoft 服务吗?此外,我找不到有关可以添加到防火墙规则中的 Databricks 区域 IP 范围的可靠信息。


是的,Azure Databricks 不算受信任的 Microsoft 服务,您可以看到支持的值得信赖的微软服务 https://learn.microsoft.com/en-us/azure/storage/common/storage-network-security#trusted-microsoft-services使用存储帐户防火墙。

根据网络,有两个建议:

  1. 找出Azure 数据中心 IP 地址 https://www.microsoft.com/en-us/download/details.aspx?id=56519 (原始已弃用的 URL https://www.microsoft.com/en-sg/download/details.aspx?id=41653)并确定 Azure Databricks 所在区域的范围。将存储帐户防火墙中的 IP 列表列入白名单。

  2. 在 Azure 虚拟网络中部署 Azure Databricks(预览版) https://docs.azuredatabricks.net/administration-guide/cloud-configurations/azure/vnet-inject.html然后将存储帐户的防火墙中的 VNet 地址范围列入白名单。你可以参考配置 Azure 存储防火墙和虚拟网络。 https://learn.microsoft.com/en-us/azure/storage/common/storage-network-security此外,您还可以使用 NSG 来限制来自此 Azure VNet 的入站和出站流量。注意:您需要部署Azure Databricks您自己的虚拟网络.

希望这可以帮助。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Azure Databricks:访问防火墙后面的 Blob 存储 的相关文章

随机推荐

  • 如何在 tkinter 中获取条目的值?

    我正在尝试使用 Tkinter 的 Entry 小部件 我无法让它做一些非常基本的事情 返回输入的值 有谁知道为什么这么简单的脚本不会返回任何内容 我尝试了很多组合并研究了不同的想法 该脚本运行但不打印该条目 from Tkinter im
  • WPF C# 列表框外部滚动按钮

    您好 有一个列表框 我想要外部按钮来滚动列表框 我怎样才能实现这个目标 感谢您的帮助和示例 添加按钮点击处理程序 private void buttonUp Click object sender RoutedEventArgs e if
  • 干扰者:日记示例

    我对关于日志记录步骤的最常见 或推荐 disruptor 实现感到好奇 我最常见的问题是 它是如何实际实现的 通过示例 使用 JPA 明智吗 常用的数据库是什么 已经使用disruptor实施项目的社区 在中间处理程序 EventProce
  • Amazon S3 避免覆盖同名的对象

    如果我将文件上传到 S3 其文件名与存储桶中对象的文件名相同 则会覆盖该文件 有哪些选项可以避免覆盖具有相同文件名的文件 我在存储桶中启用了版本控制 认为这可以解决问题 但对象仍然被覆盖 我上面的评论不起作用 我以为WRITEACL 也适用
  • 如何从标准输入读取输入并强制编码?

    目标是不断地阅读stdin并强制执行utf8在Python2和Python3中 我尝试过以下解决方案 以与 python2 和 python3 兼容的方式将字节写入标准输出 https stackoverflow com questions
  • ER_CON_COUNT_ERROR:node-mysql 中连接过多错误

    我是节点初学者 以下是我尝试使用 Node mysql 执行的代码 但它一直给我这个错误 error connecting Error ER CON COUNT ERROR Too many connections CODE var siz
  • 在服务器上找不到 Git LFS 文件

    我们一直在使用 Git 和由我们自己的 Gitlab 实例托管的 git lfs 有时 当某个特定用户推送文件时 其中一些文件 似乎是 png 文件 不会进入 LFS 存储 而是添加到 git 中 当这种情况发生在他们的机器上时 我还无法看
  • 在 http 请求中使用 `retryWhen`

    我已经延长了Http类来设置默认标头并处理 angular2 应用程序内所有请求的错误 我想使用retryWhen 对某些错误重试请求 哪些错误应该retryWhen重试请求以及出现哪些错误时应停止 Injectable export cl
  • java中内部类和局部内部类有什么区别?

    如果一个类是本地内部类 这是否意味着它位于另一个类的方法内部 或者是否意味着它只是在某个地方的另一个方法中定义 例如 在下面的代码中 MenuListener 是否被视为内部本地类 import java awt import java a
  • iOS:是否可以同时从耳机和扬声器发送音频?

    我们希望从耳机插孔发送一些串行数据 但仍然希望能够从扬声器播放音频 是否可以将输出发送到两者 如果是这样 是否可以向每个发送不同的音频 据我所知还没有 您可以获得有关路由何时更改 即当有人连接耳机线时 的编程通知 但您无法指定用于输出的设备
  • 我想对 dict 进行子类化并设置默认值

    我需要创建一个特殊的 dict 子类 在其中我想为一组键设置默认值 我似乎无法找到执行此操作的正确语法 这是我一直在尝试的 class NewDict dict Key1 stuff Key2 Other stuff NoList Nada
  • 从GridView中获取特定列的总计值

    Him 我正在使用 ASP NET VB NET 和 SQL Server 2012 我有一个 GridView 列 其中包含 3 个字段和 1 个模板字段 如下所示
  • 如何使用自制程序安装 Elasticsearch 5.3.1

    我之前已经使用自制软件在我的 Mac 上安装了 elasticsearch 5 3 1 homebrew 上最新的 elasticsearch 现在是 5 5 0 因此任何运行brew 安装的新团队成员都会选择该版本 我注意到从 elast
  • 根据容器大小进行字体缩放

    我很难理解字体缩放 我目前有一个带有正文的网站font size100 100 但什么 这似乎是按 16 像素计算的 我的印象是 100 在某种程度上指的是浏览器窗口的大小 但显然不是 因为无论窗口大小调整为移动宽度还是成熟的宽屏桌面 它始
  • UITableview 的图像滚动速度非常慢

    我有一个 UITableView 它从服务器下载其表格视图单元格图像 我观察到表格滚动非常慢 我认为这可能是由于下载造成的 但我意识到下载完成后表格仍然滚动缓慢 并且图像图标大小非常小 代码 UITableViewCell tableVie
  • 设置MessageBox的位置?

    我想使用 MessageBox 或类似的 打印一条消息 我还想控制该框在屏幕上的确切位置 但在 MessageBox 的描述中找不到任何允许您控制该位置的内容 我错过了什么 如果无法使用MessageBox 那么有没有替代方案 由于过于复杂
  • 检测点击了哪个提交按钮

    我知道这个问题听起来很像其他问题 但我发誓我在任何地方都找不到正确的解决方案 我有一个具有多个提交按钮的旧表单 如果单击其中一个 我需要进行一些客户端验证并可能停止提交 如果单击另一个 我不需要进行此验证 我发现如果我创建一个 submit
  • 如何借助 XSLT 转义 XML 字符?

    我需要仅借助 XSLT 转换从 XML 节点内部取消转义 XML 字符 我有
  • 字符串是否匹配 glob 模式

    我有一系列路径 比方说 Users alansouza workspace project src js components chart Graph js 另外 我在配置文件中有一个条目 其中包含通配符 glob 格式的该路径的附加属性
  • Azure Databricks:访问防火墙后面的 Blob 存储

    我正在从 Azure Databricks 笔记本读取 Azure Blob 存储帐户 第 2 代 上的文件 两项服务均位于同一地区 西欧 一切正常 除非我在存储帐户前面添加防火墙 我选择允许 受信任的 Microsoft 服务 但是 现在