Python json内存膨胀

import json
import time
from itertools import count

def keygen(size):
    for i in count(1):
        s = str(i)
        yield '0' * (size - len(s)) + str(s)

def jsontest(num):
    keys = keygen(20)
    kvjson = json.dumps(dict((keys.next(), '0' * 200) for i in range(num)))
    kvpairs = json.loads(kvjson)
    del kvpairs # Not required. Just to check if it makes any difference                            
    print 'load completed'

jsontest(500000)

while 1:
    time.sleep(1)

Linux top表示 python 进程在完成“jsontest”函数后保留约 450Mb 的 RAM。如果调用 'json.loads' 被省略则不会观察到此问题。 A收集器该函数执行后是否释放内存.

看起来内存没有保存在任何缓存或 python 的内部内存分配器中，因为对 gc.collect 的显式调用正在释放内存。

发生这种情况是因为从未达到垃圾收集的阈值 (700, 10, 10) 吗？

我确实在之后放了一些代码jsontest来模拟阈值。但这没有帮助。

把它放在你的程序的顶部

import gc
gc.set_debug(gc.DEBUG_STATS)

只要有集合，您就会得到打印输出。您会看到在示例代码中之后没有集合jsontest完成，直到程序退出。

你可以把

print gc.get_count()

查看当前计数。第一个数字是自第 0 代最后一次收集以来分配超过释放的数量；第二个（或第三个）是自上次收集第 1 代（或第 2 代）以来收集第 0 代（或第 1 代）的次数。如果您在之后立即打印这些jsontest完成后你会看到计数是(548, 6, 0)或类似的东西（毫无疑问，这根据Python版本而变化）。所以没有达到门槛，也没有进行收集。

这是基于阈值的垃圾收集调度的典型行为。如果需要及时将空闲内存返回给操作系统，那么需要将基于阈值的调度与基于时间的调度相结合（即自上次收集起经过一定时间后请求再次收集，即使尚未达到阈值）。