程序员经验分享-hwhale

Databricks Repos 分支的程序化签出

2024-06-29

我有一个集成测试，它比较从两个不同分支（即主分支和功能分支）运行相同脚本的输出。目前，此测试从我的本地计算机开始，但我想将其迁移到 Databricks 作业，并完全从工作流界面运行它。

我能够使用笔记本重新创建大部分现有的集成测试（用 Python 编写）dbutils，除了功能分支checkout。我可以从本地计算机调用 Repos REST API 来执行结帐，但是（据我所知）我无法从 Databricks 云上运行的作业进行相同的调用。 （当我尝试时，我遇到了凭据/身份验证问题，并且我的解决方案变得越来越棘手。）

有没有办法使用纯Python代码签出分支；像一个dbutils.repos.checkout()？或者，是否有一种安全的方法可以从 Databricks 云上运行的作业调用 REST API？


您可以使用回购 REST API https://docs.databricks.com/dev-tools/api/latest/repos.html，具体来说，Update https://docs.databricks.com/dev-tools/api/latest/repos.html#operation/update-repo对它的命令。但在做 CI/CD 的情况下，它更容易使用databricks repos update的命令数据块 CLI https://docs.databricks.com/dev-tools/cli/repos-cli.html， 像这样：

databricks repos update --path <path> --branch <branch>

附：我有端到端示例 https://github.com/alexott/databricks-nutter-repos-demo在 Azure DevOps 上为 Repos + Notebooks 进行 CI/CD，但其他系统的方法是相同的。这是一个example https://github.com/alexott/databricks-nutter-repos-demo/blob/master/azure-pipelines.yml#L78使用 Databricks CLI 进行结帐。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

git

Databricks

azuredatabricks

databricksrepos

Databricks Repos 分支的程序化签出 的相关文章

  • R 中的 Python 链接式数据整理

    我是 Python 新手 来自 R 环境 我喜欢 R 的一件事是能够编写代码 在一个可读的代码块中对数据进行多种转换 但对我来说 在 Python 中找到这种风格的代码非常困难 我想知道你们中的一些人是否可以指导在哪里可以找到有关该特定风格

  • 如何使用 scipy.spatial.Delaunay 查找 delaunay 三角剖分中给定点的所有邻居？

    我一直在寻找这个问题的答案 但找不到任何有用的东西 我正在使用 python 科学计算堆栈 scipy numpy matplotlib 并且我有一组二维点 我为其计算 Delaunay 训练 wiki https en wikipedia

  • 在进程之间共享列表的正确方法？

    我想设置两个子流程 其中subprocess1不断生成数据 类型为list and subprocess2负责处理发来的数据subprocess1 I used multiprocessing Manager list 创建共享列表 但这是

  • 在 scipy 中按稀疏矩阵分组并返回一个矩阵

    关于使用 SO 处理有几个问题groupby与稀疏矩阵 然而输出似乎是列表 字典 https stackoverflow com questions 35410839 group by on scipy sparse matrix 数据框

  • 执行时忽略字符串列

    我使用以下代码来标准化 pandas DataFrame df norm df df mean df max df min 当所有列都是数字时 此方法效果很好 但是 现在我有一些字符串列df并且上述标准化有错误 有没有办法只对数据帧的数字列

  • 使用 Python 映射字母数字字符串

    我有一个姓名数据集 根据名称的字母数字字符串 我需要将它们映射到子名称 如下所示 Name Subname 9 AIF 09 9A09 980 PD Z09A 980P09 15 KIC 12 15K12 PIA 110H P 110 IC

  • 为什么 scipy.signal.correlate2d 在此示例中无法工作？

    我试图对两个图像进行交叉关联 从而通过找到最大相关值来将模板图像定位在第一张图像上 我画了一个带有一些随机形状的图像 第一张图像 并剪出了其中一个形状 模板 现在 当我使用 scipy 的 correlate2d 并在具有最大值的相关性中定

  • 使用正则表达式在 Pandas Series 的各个单元格内分隔逗号分隔的值

    我有一个来自数据库的 csv 文件 我已将其转换为我正在尝试清理的 Pandas DataFrame 问题之一是多个值已输入到需要拆分的单个单元格中 复杂的因素是有一些字符串注释 也带有逗号 需要保持完整 下面的示例以系列形式说明了该问题

  • 如何在 pywebview 中使无框窗口可拖动？

    我最近一直在使用 pywebview 和 Flask 来开发桌面应用程序 我想使用无框窗口功能并创建自己的标题栏 但问题是我不知道如何使该无框窗口可拖动 文档说它可以通过拖动任何点来移动 但对我来说情况并非如此 有任何想法吗 拖动区域 ht

  • 贝塞尔曲线python的递归函数

    我被要求设计一个名为 Bezier 的递归函数 其参数是给定点的列表 以及必须评估的点 它返回贝塞尔曲线中由点列表的控制点定义的点 这是我所做的算法 def Bezier point list t if len point list 1 r

  • 在 Mac 上缓存用于 git 签名的 GPG 密码

    关于这个主题已经有一个更通用的线程 签署 git 提交时记住 GPG 密码 https stackoverflow com questions 36847431 remember gpg password when signing git

  • 在 Github 上分叉仓库以开始自己的仓库时的最佳实践

    github 上有一个仓库 我想用它来构建 这样做的最佳实践是什么 这是我所做的 1 分叉仓库 2 开始一个新的仓库 3 将分叉存储库的远程源 URL 更改为新存储库 4 将新存储库的本地副本推送到github 这为我提供了新存储库的 起点

  • 如果 git-am 失败并显示“索引中不存在”怎么办？

    我有一个补丁 当我尝试使用 git am 应用它时 它会给出以下输出 Checking patch old filename error old filename does not exist in index 在补丁中 旧 文件名实际上已

  • 如何在Windows上安装PyGI（Python Gobject Introspection）？

    安装Python解释器 http python org ftp python 2 7 2 python 2 7 2 msi http python org ftp python 2 7 2 python 2 7 2 msi and http

  • 无法在 BeautifulSoup 中获得正确的链接

    我正在尝试解析一些 HTML 并且想提取与特定模式匹配的链接 我正在使用find使用正则表达式的方法 但它没有给我正确的链接 这是我的片段 有人可以告诉我我做错了什么吗 from BeautifulSoup import Beautiful

  • 如何退出git中的提交编辑消息？

    我通常通过输入来提交git commit m initial 默认情况下 GNU nano 编辑器是 ubuntu Gnome 19 04 上 git config editor 中的选择 我不小心提交了我的更改输入git commit输入

  • f2py：公开“已使用”模块的参数

    我认为这个问题已经在某个地方得到解决 但我花了大量的时间四处寻找答案 包括深入研究源代码 我试图将问题放在第一段中 其余部分显示了问题的基本示例 我正在尝试编译一个包含USE指向另一个更通用的模块的语句 我更愿意将使用的模块分开 以便它可以

  • 持久子进程.Popen 会话

    我正在尝试运行一个命令 然后在同一环境中运行另一个命令 比如说 如果我在第一个命令中设置环境变量 我希望它可用于第二个命令 我试过这个 import subprocess process subprocess Popen echo test

  • Scrapy在使用crawlerprocess运行时抛出错误

    我用 python 编写了一个脚本 使用 scrapy 来收集网站上不同帖子的名称及其链接 当我从命令行执行脚本时 它可以完美地工作 现在 我的意图是使用运行脚本CrawlerProcess 我在不同的地方寻找类似的问题 但我找不到任何直接

  • 使用具有阿拉伯字符的 json.dumps 将字典转换为 json [重复]

    这个问题在这里已经有答案了 我有一本包含阿拉伯语单词的字典 例如 data name name print json dumps data file open data json a encoding utf 8 Output name u

随机推荐

  • 需要一种临时重定向 STDOUT 的方法

    我知道如何在 Linux 中重定向输出 问题是 我的 bash 脚本中有很多输出 我不想输入类似的内容 echo foo gt gt bar 一遍又一遍地 我更愿意做这样的事情 hey bash for the time being put

  • 淘汰 renderTemplate() 渲染模式

    我正在尝试打电话ko renderTemplate 在自定义绑定中 但是我找不到任何有关其用法的文档 特别是渲染模式参数 Knockout js 专业技巧 使用模板 http www strathweb com 2012 08 knocko

  • Capybara::ElementNotFound：无法找到 xpath“/html”

    我正在关注 Ruby on Rails 教程 http ruby railstutorial org chapters static pages http ruby railstutorial org chapters static pag

  • 如何替换Mat图像的矩形区域

    我正在使用 opencv 图像处理库 我只想用另一个小图像替换原始 Mat 图像的矩形区域 小于原始图像 我找不到执行此操作的方向 有人可以帮我吗 提前致谢 这是一种方法 但不声称这是最好的方法 Mat m your smaller mat

  • 如何向http-client-tls提供客户端证书？

    我在用http 客户端 tls http hackage haskell org package http client tls 0 2 1 2连接到需要客户端证书的启用 TLS 的服务器 我怀疑我需要调整TLS设置 http hackag

  • 如何使用 Java 上传 zip 文件？

    我正在尝试上传 zip 文件 在我的项目中 我在客户端使用 DWR 在服务器端使用 Java 正如我在 DWR 上传数据教程中看到的那样 不在他们的网站上 他们通过 dwr rar 捆绑包提供 他们通过以下几行获取输入 var image

  • 使用递归 CTE 生成嵌套第 n 层 JSON SQL Server

    我有以下结构的数据 我想使用父属性 id 关系生成嵌套 JSON 所需的输出 propertyID 1 title foo class typeid 150 value bar children propertyID 2 title foo

  • 当 COUNT(*) 为 NULL 时，GROUP BY 返回 0

    这是我原来的查询 SELECT CAST IndexedDate as varchar COUNT AS Logins FROM Table WHERE EventType Login AND IndexedDate gt DATEADD

  • 获取外部脚本的源代码（代码）？

    是否可以获取外部脚本的内容作为字符串 相当于myInlineScript textContent 场景是我刚刚开始进入 WebGL 并且我发现所有教程都将着色器存储为内联

  • 如何使 PyPi 描述 Markdown 工作？

    我使用以下方法将包上传到 PyPi python setup py register r pypi python setup py sdist upload r pypi 我正在尝试修改描述 我写道 请不要编辑以下代码的格式 我是故意这样做

  • 如何将离子搜索栏聚焦在按钮单击上

    我正在努力集中注意力ion searchbar单击按钮但它不起作用 这是我的代码 打字稿 ViewChild search search ElementRef focusButton console log this search Sear

  • 在 RichEditBox 中设置文本时出现 AccessViolationException

    我花了几个小时试图了解这里发生的事情 我有一个 RichEditBox 用户可以通过点击它并使用键盘或点击几个在 RichEditBox 内添加一些字符的按钮来与之交互 这是我使用的一个方法 private void ptrPlus cli

  • 使用 Leaflet.Draw 工具栏显示折线长度（以英尺为单位）

    我正在创建一个地图 用户可以使用 Leaflet Draw 工具栏在其上绘制线条 我希望线路的运行距离以英尺 英里显示 而不是默认的码 英里 查看 GitHub 中的项目 在我看来 以下代码应该执行此操作 var drawControl n

  • 如何使网页视图与其内容一样大？

    我在网上找不到这个 我有很多网络浏览量HorizontalScrollView 我希望它们全部适合其内容 然后可能具有不同的宽度 更多 我给那些充气webviews像这样 LinearLayout layout LinearLayout g

  • JButton 上的 itemStateChanged

    我读到一个JButton实施ItemSelectable并进入文档它有方法addItemListener所以我可以说它可以产生ItemEvent 但是当我注册时JButton 但也对于一个JMenuItem 那个界面事件没有引发 Why 我

  • url 映射中的语言前缀不适用于所有情况

    我在语言映射方面遇到问题 我希望它的工作方式是在 URL 中编码语言 如 appname de mycontroller whatever 如果您转到 appname mycontroller action 它应该检查您的会话 如果没有会话

  • 我如何将我的日志/数据保存到docker中的本地文件系统

    有一个应用程序在 docker 容器内运行 应用程序将日志消息写入本地日志文件 如果 docker 容器停止或崩溃 如何使日志文件持久存在 由于容器是运行时实体 当我停止图像时 我的日志 数据就消失了 谢谢 索汉 您可以使用 docker

  • ARCore中的3D对象单击事件

    如何在android studio中获取使用arcore SDK渲染的3D对象的点击事件 我的要求是单击该 3D 对象并显示弹出对话框 这与ARCore无关 您正在使用的游戏引擎 框架实际上负责这一点 例如 如果您使用 Unity 则可以使

  • Webpack、React、JSX、Babel - 意外标记 <

    这就是我使用 ExpressJS 所拥有的 app index js node modules babel core babel loader babel preset react express react react dom webpa

  • Databricks Repos 分支的程序化签出

    我有一个集成测试 它比较从两个不同分支 即主分支和功能分支 运行相同脚本的输出 目前 此测试从我的本地计算机开始 但我想将其迁移到 Databricks 作业 并完全从工作流界面运行它 我能够使用笔记本重新创建大部分现有的集成测试 用 Py

热门标签