Databricks (Spark):.egg 依赖项未自动安装?

2023-12-23

我有一个本地创建的.egg依赖的包boto==2.38.0.我使用 setuptools 来创建构建发行版。一切都在我自己的本地环境中运行,因为它获取boto正确地从PiP。然而在databricks当我将库附加到集群时,它不会自动获取依赖项。

我现在真的挣扎了几天,试图在加载到数据块时自动安装依赖项,我使用setuptools; 'install_requires=['boto==2.38.0']'是相关领域。

当我安装时boto直接来自PyPi on the databricks服务器(所以不依赖于install_requires字段正常工作),然后调用我自己的.egg,它确实认识到boto是一个包,但它无法识别它的任何模块(因为它没有导入到我自己的 .egg 命名空间???)。所以我无法得到我的.egg上班。如果这个问题仍然存在而没有任何解决方案,我认为这对于databricks现在的用户。当然应该有解决办法...

谢谢你!


一般来说,如果应用程序的依赖项多种多样且没有统一的语言支持,则它们将无法正常工作。这数据块文档 https://docs.databricks.com/user-guide/clusters/python3.html解释一下

如果库同时支持 Python 2 和 3,Databricks 将安装正确的版本。如果库不支持 Python 3,则库附件将失败并出现错误。

在这种情况下,当您将库附加到集群时,它不会自动获取依赖项。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Databricks (Spark):.egg 依赖项未自动安装? 的相关文章

随机推荐

  • SQL 获取字段中位置的字符

    如何获取字段中位置 4 的字符 e g 字段内容 你好 我想返回位置 2 l 的值 在 SQL Server 中您可以使用SUBSTRING SELECT SUBSTRING hello 3 1 注意 索引是从 1 开始的
  • 什么是反应本机链接?

    What is the purpose of the react native link command Note 来自 React Native0 60 0使用链接包react native link已经变得多余了 Autolink 已添
  • Visual Studio 2015 中的 Azure Web 作业 - 部署无法正常工作,并出现错误“项目中不存在目标“MSDeployPublish””。

    我使用 Visual Studio 2015 和 azure sdk 2 7 1 我创建了天蓝色网络作业 当我运行部署时出现错误 项目中不存在目标 MSDeployPublish 我在 Visual Studio 2013 中创建了 Web
  • 如果列属于区间数据类型,则数据框过滤列

    我有一个数据框数组 其中包含一些列 其中之一是 时间 我想过滤时间在特定间隔内的行 为了简化问题 我制作了一个具有整数值和整数间隔的数据框 data pd DataFrame A 1 2 3 4 5 6 7 8 9 interval pd
  • CSRF InvalidAuthenticityToken 与 Rails 和 React

    我无法让我的代码与 CSRF 令牌一起使用 我有一个 axiosconfig 文件 我在其中设置 axios 并将其导出 import axios from axios const csrfToken document querySelec
  • Angular-UI-Router 与 Html5Mode 刷新页面问题

    我有一个应用程序使用角度 ui 路由器 with html5模式 真 当运行和路由到其他状态时 一切似乎都工作正常 我的默认状态是应用程序 日历这是在 module run 期间设置的 但是当我刷新页面而我当前处于其他路线时 可以说应用程序
  • 是否可以在不迭代行的情况下检查 pdostatement::fetch() 是否有结果?

    我有一个页面需要检查结果 我想出的方法是成功的 但会迭代第一行结果 有没有一种方法可以在不迭代的情况下进行检查 或者返回到第一行而不再次执行查询 我正在这样做 q pdo prepare SQL q gt execute array foo
  • 如何在 Retrofit 中处理动态 JSON?

    我正在使用改造高效网络库 但我无法处理包含单个前缀的动态 JSONresponseMessage这会改变为object随机地 相同的前缀 responseMessage 在某些情况下 动态地 更改为字符串 响应消息的Json格式对象 app
  • 如何使用 Impress.js 获得完整、无缝的轮换?

    我正在使用 impress js 创建 3D 效果 在其中您位于四个页面内 就好像它们是房间中的四堵墙一样 要查看下一页 请使用简单的 90 度旋转 这些页面已经使用 impress js 进行了布局 page 1 div class st
  • 在向 jTable 添加新列后插入新行会出现数组越界异常

    我使用以下代码创建了 JTable 然后我添加两个新列 然后 在将行数设置为零后 当我尝试向表中添加新行时 出现数组越界异常 请帮忙 creating table structure jTable2 new javax swing JTab
  • 您如何组织您的 ATG 项目?

    如果您为 ATG Dynamo 进行开发 您如何构建模块和依赖项 您如何构建项目 源目录 JAR 配置等 您如何构建和部署 你使用什么工具 我们有一个带有单个 ATG 模块的整体架构 我们最初使用 JHTML 开发此网站 此后在此 ATG
  • JavaScript 中图像的相对路径

    我有一个 javascript 模块 它创建一个带有关闭按钮 X 图片的 div 这个 div 和 javascript 被放置在我网站上的很多地方 相对路径解决方案 当页面包含 javascript 并且 javascript 对图像使用
  • git (ls-remote) - 列出按创建日期排序的“远程”分支

    我知道通过下面的 git 命令我可以列出我所有的 远程 分支 someone someone pc somerepo git ls remote Username for https somegit com someone Password
  • scss:compass、gruntjs 和 Bower 安装基础 - 导入路径

    所以我有 yeoman 创建的以下目录结构 calvin tree L 2 Gruntfile js app 404 html bower components foundation favicon ico index html robot
  • Masonry 不适用于 Ember 中的无限滚动

    我正在尝试使用 Jquery Masonry 来无限滚动我的图片库 Masonry 仅适用于路线中的图像 但是在将新图像对象推送到之后images array 新形象出现在Dom但砌体不起作用 我见过Ember js jQuery maso
  • Delphi - 在主窗体创建上停止应用程序

    情况如下 在应用程序主窗体上创建事件时 某些条件未得到满足 因此应用程序需要关闭 是的 这是一个糟糕的设计 但是应用程序应该如何关闭 使用Application MainForm Close 生成一个AV 应用程序 终止 http docw
  • 什么是 Play 框架 Web 服务器

    有谁知道play使用哪个网络服务器 框架 我计划使用 Play 制作一个小型 Intranet 应用程序原型 我想知道是否应该使用默认的播放 Web 服务器或内部使用的 Apache 或 IIS 我不会预测应用程序的多个实例正在运行 也不会
  • 如何强制 xcode 对特定文件使用 ARC?

    我的项目包含 XMPPFramework 其中包含必须与 ARC 一起使用的文件 但我的项目是非 ARC 并且由于链接到它的某些其他库而无法转换 如何强制编译器仅在某个类上使用 ARC 这是以下问题的反问题这个问题 https stacko
  • svn relocate 错误 -- 无效的重定位目标

    我们的 svn 存储库的位置已更改为不同的 url 此外主干 分支和标签的相对路径也移动了一点 现在当我尝试svn relocate 我收到此消息 Invalid relocation destination https my repo s
  • Databricks (Spark):.egg 依赖项未自动安装?

    我有一个本地创建的 egg依赖的包boto 2 38 0 我使用 setuptools 来创建构建发行版 一切都在我自己的本地环境中运行 因为它获取boto正确地从PiP 然而在databricks当我将库附加到集群时 它不会自动获取依赖项