我有一个本地创建的.egg
依赖的包boto==2.38.0.
我使用 setuptools 来创建构建发行版。一切都在我自己的本地环境中运行,因为它获取boto
正确地从PiP
。然而在databricks
当我将库附加到集群时,它不会自动获取依赖项。
我现在真的挣扎了几天,试图在加载到数据块时自动安装依赖项,我使用setuptools;
'install_requires=['boto==2.38.0']'
是相关领域。
当我安装时boto
直接来自PyPi
on the databricks
服务器(所以不依赖于install_requires
字段正常工作),然后调用我自己的.egg
,它确实认识到boto
是一个包,但它无法识别它的任何模块(因为它没有导入到我自己的 .egg 命名空间???)。所以我无法得到我的.egg
上班。如果这个问题仍然存在而没有任何解决方案,我认为这对于databricks
现在的用户。当然应该有解决办法...
谢谢你!
一般来说,如果应用程序的依赖项多种多样且没有统一的语言支持,则它们将无法正常工作。这数据块文档 https://docs.databricks.com/user-guide/clusters/python3.html解释一下
如果库同时支持 Python 2 和 3,Databricks 将安装正确的版本。如果库不支持 Python 3,则库附件将失败并出现错误。
在这种情况下,当您将库附加到集群时,它不会自动获取依赖项。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)