python pandas 中的分块文件上的数百万个键上的 grouby 出现问题

我有一个非常大的 CSV 文件（数十千兆），其中包含带有以下列的网络日志：user_id, time_stamp, category_clicked。我必须构建一个记分器来识别用户喜欢和不喜欢的类别。请注意，我有超过 1000 万用户。

我首先把它切成块并存放在一个HDFStore named input.h5然后我用groupby on user_id下列的杰夫的方式.

这是我的数据：大约 2 亿行，1000 万个唯一的 user_ids。

user id | timestamp | category_clicked
20140512081646222000004-927168801|20140722|7
20140512081714121000004-383009763|20140727|4
201405011348508050000041009490586|20140728|1
20140512081646222000004-927168801|20140724|1
20140501135024818000004-1623130763|20140728|3

这是我的 pandas.show_version()：

INSTALLED VERSIONS
------------------
commit: None
python: 2.7.6.final.0
python-bits: 64
OS: Windows
OS-release: 8
machine: AMD64
processor: AMD64 Family 21 Model 2 Stepping 0, AuthenticAMD
byteorder: little
LC_ALL: None
LANG: fr_FR

pandas: 0.13.1
Cython: 0.20.1
numpy: 1.8.1
scipy: 0.13.3
statsmodels: 0.5.0
IPython: 2.0.0
sphinx: 1.2.2
patsy: 0.2.1
scikits.timeseries: None
dateutil: 2.2
pytz: 2013.9
bottleneck: None
tables: 3.1.1
numexpr: 2.3.1
matplotlib: 1.3.1
openpyxl: None
xlrd: 0.9.3
xlwt: 0.7.5
xlsxwriter: None
sqlalchemy: 0.9.4
lxml: None
bs4: None
html5lib: None
bq: None
apiclient: None

这是我想要的输出：

对于每个 user_id，一个列表[0.1,0.45,0.89,1.45,5.12,0.,0.,0.45,0.12,2.36,7.8]表示用户对每个类别的分数和全局分数。我无法告诉您有关分数的更多信息，但它需要计算所有时间戳和category_clicked。你不能事后总结或者类似的事情。

这是我的代码：

clean_input_reader = read_csv(work_path + '/input/input.csv', chunksize=500000)
with get_store(work_path+'/input/input.h5') as store:
    for chunk in clean_input_reader:
        store.append('clean_input', chunk,
                     data_columns=['user_id','timestamp','category_clicked'],
                     min_itemsize=15)

    groups = store.select_column('clean_input','user_id').unique()
    for user in groups:
        group_user = store.select('clean_input',where=['user_id==%s' %user])
        <<<<TREATMENT returns a list user_cat_score>>>>
        store.append(user, Series(user_cat_score))

我的问题如下：在我看来，这一行：group_user=store.select('clean_input',where=['user_id==%s' %user])时间复杂度太高了，因为我真的有很多组，而且我确信在例程中存在很多冗余排序store.select如果我应用它一千万次。

为了给你一个估计，我采取250 秒处理 1000 个按键使用这种技术，而不是仅仅1 second在通常的情况下groupby读取全内存 CSV 文件read_csv没有分块。

**********更新***********

应用 Jeff 的哈希方法后，我可以在 1 秒内处理 1000 个键（与完全内存方法的时间相同），并且绝对减少了 RAM 使用量。当然，我以前没有经历过的唯一时间损失是我进行分块、保存 100 个哈希组以及从存储中的哈希组中获取真实组所花费的时间。但这个操作不会超过几分钟。

这是任意缩放此问题的解决方案。这实际上是这个问题的高密度版本here

定义一个函数，将特定组值散列到较少数量的组。我会设计这个，以便它将您的数据集划分为内存中可管理的部分。

def sub_group_hash(x):
    # x is a dataframe with the 'user id' field given above
    # return the last 2 characters of the input
    # if these are number like, then you will be sub-grouping into 100 sub-groups
    return x['user id'].str[-2:]

使用上面提供的数据，这会在输入数据上创建一个分组框架，如下所示：

In [199]: [ (grp, grouped) for grp, grouped in df.groupby(sub_group_hash) ][0][1]
Out[199]: 
                             user id  timestamp  category
0  20140512081646222000004-927168801   20140722         7
3  20140512081646222000004-927168801   20140724         1

with grp作为组的名称，并且grouped作为结果帧

# read in the input in a chunked way
clean_input_reader = read_csv('input.csv', chunksize=500000)
with get_store('output.h5') as store:
    for chunk in clean_input_reader:

        # create a grouper for each chunk using the sub_group_hash
        g = chunk.groupby(sub_group_hash)

        # append each of the subgroups to a separate group in the resulting hdf file
        # this will be a loop around the sub_groups (100 max in this case)
        for grp, grouped in g:

            store.append('group_%s' % grp, grouped,
                         data_columns=['user_id','timestamp','category_clicked'],
                         min_itemsize=15)

现在您有一个包含 100 个子组的 hdf 文件（如果没有代表所有组，则可能更少），每个子组都包含执行操作所需的所有数据。

with get_store('output.h5') as store:

    # all of the groups are now the keys of the store
    for grp in store.keys():

        # this is a complete group that will fit in memory
        grouped = store.select(grp)

        # perform the operation on grouped and write the new output
        grouped.groupby(......).apply(your_cool_function)

因此，在这种情况下，这会将问题减少 100 倍。如果这还不够，那么只需增加 sub_group_hash 即可创建更多组。

您应该争取较小的数量，因为 HDF5 效果更好（例如，不要创建 10M 的子组，这会违背目的，100、1000、甚至 10k 都可以）。但我认为 100 应该对你有用，除非你有一个非常疯狂的群体密度（例如，你在一个群体中有大量的数字，而在其他群体中很少）。

请注意，这个问题很容易扩展；如果需要，您可以将子组存储在单独的文件中，和/或在必要时单独（并行）处理它们。

这应该使你的解决时间大约O(number_of_sub_groups).