pandas.concat 和 numpy.append 大数据集的内存错误

我面临一个问题，我必须在循环中生成大型 DataFrame（每次两个 2000 x 800 pandas DataFrame 时进行 50 次迭代计算）。我想将结果保存在内存中更大的 DataFrame 中，或者保存在类似字典的结构中。 使用 pandas.concat 时，我在循环中的某个时刻遇到内存错误。当使用 numpy.append 将结果存储在 numpy 数组的字典中而不是 DataFrame 中时，也会发生同样的情况。在这两种情况下，我仍然有大量可用内存（几 GB）。 pandas 或 numpy 无法处理的数据太多了吗？是否有更节省内存的方法来存储数据而不将其保存在磁盘上？

例如，以下脚本一旦出现以下情况就会失败nbIds大于 376：

import pandas as pd
import numpy as np
nbIds = 376
dataids = range(nbIds)
dataCollection1 = []
dataCollection2 = []
for bs in range(50):
    newData1 = pd.DataFrame( np.reshape(np.random.uniform(size = 
                                                          2000 * len(dataids)), 
                                        (2000,len(dataids ))))
    dataCollection1.append( newData1 )
    newData2 = pd.DataFrame( np.reshape(np.random.uniform(size = 
                                                          2000 * len(dataids)), 
                                        (2000,len(dataids ))))
    dataCollection2.append( newData2 )
dataCollection1 = pd.concat(dataCollection1).reset_index(drop = True)
dataCollection2 = pd.concat(dataCollection2).reset_index(drop = True)

下面的代码在以下情况下失败nbIds是 665 或更高

import pandas as pd
import numpy as np
nbIds = 665
dataids = range(nbIds)
dataCollection1 = dict( (i , np.array([])) for i in dataids )
dataCollection2 = dict( (i , np.array([])) for i in dataids )
for bs in range(50):
    newData1 = np.reshape(np.random.uniform(size = 2000 * len(dataids)), 
                         (2000,len(dataids )))
    newData1 = pd.DataFrame(newData1)
    newData2 = np.reshape(np.random.uniform(size = 2000 * len(dataids)), 
                         (2000,len(dataids)))
    newData2 = pd.DataFrame(newData2)
    for i in dataids :
        dataCollection1[i] = np.append(dataCollection1[i] , 
                                       np.array(newData1[i]))
        dataCollection2[i] = np.append(dataCollection2[i] , 
                                       np.array(newData2[i]))

我确实需要每次都计算两个 DataFrame，并且针对每个元素i of dataids我需要获取一个 pandas 系列或一个 numpy 数组，其中包含为生成的 50 * 2000 个数字i。理想情况下，我需要能够运行它nbIds等于800或以上。 有没有一种简单的方法可以做到这一点？

我使用的是 32 位 Python，Python 2.7.5、pandas 0.12.0 和 numpy 1.7.1。

非常感谢您的帮助！

这本质上就是你正在做的事情。请注意，如果您在之前或之后转换为 DataFrame，从内存角度来看并没有太大区别。

但是您可以指定 dtype='float32' 来有效地占用 1/2 内存。

In [45]: np.concatenate([ np.random.uniform(size=2000 * 1000).astype('float32').reshape(2000,1000) for i in xrange(50) ]).nbytes
Out[45]: 400000000

In [46]: np.concatenate([ np.random.uniform(size=2000 * 1000).reshape(2000,1000) for i in xrange(50) ]).nbytes
Out[46]: 800000000

In [47]: DataFrame(np.concatenate([ np.random.uniform(size=2000 * 1000).reshape(2000,1000) for i in xrange(50) ]))
Out[47]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 100000 entries, 0 to 99999
Columns: 1000 entries, 0 to 999
dtypes: float64(1000)