与 HDF5 相比，为什么从 CSV 导入时 pandas 和 dask 的性能更好？

我正在使用的系统当前运行大型（> 5GB）.csv 文件。为了提高性能，我正在测试（A）从磁盘创建数据帧的不同方法（pandas VSdask http://pythondata.com/dask-large-csv-python/）以及（B）将结果存储到磁盘的不同方式（.csv VShdf5 https://dzone.com/articles/quick-hdf5-pandas files).

为了对性能进行基准测试，我执行了以下操作：

def dask_read_from_hdf():
    results_dd_hdf = dd.read_hdf('store.h5', key='period1', columns = ['Security'])
    analyzed_stocks_dd_hdf =  results_dd_hdf.Security.unique()
    hdf.close()

def pandas_read_from_hdf():
    results_pd_hdf = pd.read_hdf('store.h5', key='period1', columns = ['Security'])
    analyzed_stocks_pd_hdf =  results_pd_hdf.Security.unique()
    hdf.close()

def dask_read_from_csv():
    results_dd_csv = dd.read_csv(results_path, sep = ",", usecols = [0], header = 1, names = ["Security"])
    analyzed_stocks_dd_csv =  results_dd_csv.Security.unique()

def pandas_read_from_csv():
    results_pd_csv = pd.read_csv(results_path, sep = ",", usecols = [0], header = 1, names = ["Security"])
    analyzed_stocks_pd_csv =  results_pd_csv.Security.unique()

print "dask hdf performance"
%timeit dask_read_from_hdf()
gc.collect()
print""
print "pandas hdf performance"
%timeit pandas_read_from_hdf()
gc.collect()
print""
print "dask csv performance"
%timeit dask_read_from_csv()
gc.collect()
print""
print "pandas csv performance"
%timeit pandas_read_from_csv()
gc.collect()

我的发现是：

dask hdf performance
10 loops, best of 3: 133 ms per loop

pandas hdf performance
1 loop, best of 3: 1.42 s per loop

dask csv performance
1 loop, best of 3: 7.88 ms per loop

pandas csv performance
1 loop, best of 3: 827 ms per loop

当 hdf5 存储的访问速度比 .csv 更快，并且 dask 创建数据帧比 pandas 更快时，为什么 hdf5 的 dask 比 csv 的 dask 慢？难道我做错了什么？

什么时候从 HDF5 存储对象创建 dask 数据帧对性能有意义？

HDF5 在处理数值数据时效率最高，我猜您正在读取单个字符串列，这是它的弱点。

通过使用 HDF5 可以显着提高字符串数据的性能Categorical存储字符串，假设基数相对较低（重复值数量较多）

这是不久前的事，但这里有一篇很好的博客文章详细介绍了这些考虑因素。http://matthewrocklin.com/blog/work/2015/03/16/Fast-Serialization http://matthewrocklin.com/blog/work/2015/03/16/Fast-Serialization

您还可以考虑使用 parquet - 它与 HDF5 类似，都是二进制格式，但是面向列的，因此像这样的单列选择可能会更快。

最近（2016-2017），在实现 parquet->pandas 的快速本机读取器以及 pandas 的下一个主要版本（0.21）将会有to_parquet and pd.read_parquet内置功能。

https://arrow.apache.org/docs/python/parquet.html https://arrow.apache.org/docs/python/parquet.html

https://fastparquet.readthedocs.io/en/latest/ https://fastparquet.readthedocs.io/en/latest/

https://matthewrocklin.com/blog//work/2017/06/28/use-parquet https://matthewrocklin.com/blog//work/2017/06/28/use-parquet