我将以下代码打包到 whl 文件中：
from pkg_resources import resource_filename
def path_to_model(anomaly_dir_name: str, data_path: str):
filepath = resource_filename(anomaly_dir_name, data_path)
return filepath
def read_data(spark) -> DataFrame:
return (spark.read.parquet(str(path_to_model("sampleFolder", "data"))))
我确认whl文件正确包含sampleFolder/data/目录下的镶木地板文件。当我在本地运行它时，它可以工作，但是当我将此 whl 文件上传到 dbfs 并运行时，我收到此错误：
AnalysisException: Path does not exist: dbfs:/databricks/python/lib/python3.7/site-packages/sampleFolder/data;
我确认这个目录实际上不存在：dbfs:/databricks/python
知道这个错误可能是什么吗？
Thanks.
默认情况下，Databricks 上的 Spark 可以处理 DBFS 上的文件。
但是如果你想使用databricks中的spark.read.parquet函数读取文件，你可以使用前缀file:接下来是文件的完整路径
例如-
spark.read.parquet('file:/home/user1/file_name')
^^^^
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
