使用 pyarrow 在 Amazon S3 上打开 parquet 文件时出错

2024-01-10

我有这段代码,它应该从存储在 S3 上的 parquet 文件中读取单列数据:fs = s3fs.S3FileSystem() data_set = pq.ParquetDataset(f"s3://{bucket}/{key}", filesystem=fs) column_data = data_set.read(columns=[col_name])

我得到这个例外: 验证模式 self.schema = self.pieces[0].get_metadata(open_file).schema IndexError:列表索引超出范围

我升级到最新版本的 pyarrow 但没有帮助


None

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 pyarrow 在 Amazon S3 上打开 parquet 文件时出错 的相关文章

随机推荐