我有多个巨大的 tsv 文件,我正在尝试使用 pandas 处理它们。我想按“col3”和“col5”分组。我试过这个:
import pandas as pd
df = pd.read_csv('filename.txt', sep = "\t")
g2 = df.drop_duplicates(['col3', 'col5'])
g3 = g2.groupby(['col3', 'col5']).size().sum(level=0)
print g3
到目前为止它工作正常并打印如下输出:
yes 2
no 2
我希望能够聚合多个文件的输出,即能够一次按所有文件中的这两列进行分组,并打印一个公共输出以及“是”或“否”出现的总数或者无论该属性是什么。换句话说,我现在想同时对多个文件使用 groupby 。如果文件没有这些列之一,则应跳过该文件并转到下一个文件。
这是一个很好的用例blaze http://blaze.pydata.org.
这是一个使用来自nyctaxi 数据集 http://www.andresmh.com/nyctaxitrips/。我特意将一个大文件分成两个文件,每个文件 1,000,000 行:
In [16]: from blaze import Data, compute, by
In [17]: ls
trip10.csv trip11.csv
In [18]: d = Data('*.csv')
In [19]: expr = by(d[['passenger_count', 'medallion']], avg_time=d.trip_time_in_secs.mean())
In [20]: %time result = compute(expr)
CPU times: user 3.22 s, sys: 393 ms, total: 3.61 s
Wall time: 3.6 s
In [21]: !du -h *
194M trip10.csv
192M trip11.csv
In [22]: len(d)
Out[22]: 2000000
In [23]: result.head()
Out[23]:
passenger_count medallion avg_time
0 0 08538606A68B9A44756733917323CE4B 0
1 0 0BB9A21E40969D85C11E68A12FAD8DDA 15
2 0 9280082BB6EC79247F47EB181181D1A4 0
3 0 9F4C63E44A6C97DE0EF88E537954FC33 0
4 0 B9182BF4BE3E50250D3EAB3FD790D1C9 14
Note:这将使用 pandas 自己的分块 CSV 读取器来执行计算。如果您的文件在 GB 范围内,您最好转换为以下格式bcolz http://bcolz.blosc.org/ or PyTables https://pytables.github.io/,因为这些是二进制格式,专为大型文件的数据分析而设计。 CSV 只是具有约定的文本块。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)