如何估计 Pandas 的 DataFrame 需要多少内存？

我一直在想...如果我正在将一个 400MB 的 csv 文件读取到 pandas 数据帧中（使用 read_csv 或 read_table），有什么方法可以猜测这将需要多少内存？只是想更好地感受数据帧和内存......

df.memory_usage()将返回每列占用多少字节：

>>> df.memory_usage()

Row_ID            20906600
Household_ID      20906600
Vehicle           20906600
Calendar_Year     20906600
Model_Year        20906600
...

要包含索引，请传递index=True.

因此，要获得总体内存消耗：

>>> df.memory_usage(index=True).sum()
731731000

还有，路过deep=True将启用更准确的内存使用报告，该报告说明了所包含对象的完整使用情况。

这是因为内存使用量不包括非数组组件的元素消耗的内存，如果deep=False（默认情况）。