使用 Dask 导入大型 CSV 文件

我正在使用 Dask 导入一个非常大的 csv 文件 ~680GB，但是，输出不是我所期望的。我的目标是仅选择一些列（6/50），并可能过滤它们（我不确定，因为似乎没有数据？）：

import dask.dataframe as dd

file_path = "/Volumes/Seagate/Work/Tickets/Third ticket/Extinction/species_all.csv"

cols = ['year', 'species', 'occurrenceStatus', 'individualCount', 'decimalLongitude', 'decimalLatitde']
dataset = dd.read_csv(file_path, names=cols,usecols=[9, 18, 19, 21, 22, 32])

当我将其读入 Jupyter 时，我无法理解输出 - 控制台输出：

Dask DataFrame Structure:
                     year species occurrenceStatus individualCount decimalLongitude decimalLatitde
npartitions=11397                                                                                 
                   object  object           object          object           object         object
                      ...     ...              ...             ...              ...            ...
...                   ...     ...              ...             ...              ...            ...
                      ...     ...              ...             ...              ...            ...
                      ...     ...              ...             ...              ...            ...
Dask Name: read-csv, 11397 tasks

看起来您已经成功创建了一个 dask 数据框。如果您期待类似 pandas 数据框的内容，那么您可以使用以下命令查看数据dataset.head()。对于更多涉及的计算，最好保持数据集惰性（作为 dask 数据帧），并使用标准pandas所有转换的语法。

# this is needed to call dask.compute
import dask

# for example take a subset
subset_data = dataset[dataset['year']>2000]

# find out the total value for this column
lazy_result = subset_data['individualCount'].sum()

# now that the target is known use .compute
computed_result = dask.compute(lazy_result)

除了dask之外，你还可以看看vaex，对于某些目的可能会更好：https://vaex.io/