理解Python内存分配和释放

我最近遇到本文 http://deeplearning.net/software/theano/tutorial/python-memory-management.html关于python内存分配。

在这个页面中，它描述了 python 的内存使用情况，并且有一个示例显示了整数列表的深度复制。我自己在 Python 2.7 上做了基准测试

Line #    Mem usage    Increment   Line Contents
================================================
     4   28.051 MiB    0.000 MiB   @profile
     5                             def function():
     6   59.098 MiB   31.047 MiB       x = list(range(1000000))  # allocate a big list
     7  107.273 MiB   48.176 MiB       y = copy.deepcopy(x)
     8   99.641 MiB   -7.633 MiB       del x
     9   99.641 MiB    0.000 MiB       return y

所以直接删除 x 只会删除 x 以及所有对 x 的整数的引用，对吧？

这样做也无济于事（那么 del x 和 del x[:] 有什么区别？）：

Line #    Mem usage    Increment   Line Contents
================================================
     4   28.047 MiB    0.000 MiB   @profile
     5                             def function():
     6   59.094 MiB   31.047 MiB       x = list(range(1000000))  # allocate a big list
     7  107.270 MiB   48.176 MiB       y = copy.deepcopy(x)
     8   99.637 MiB   -7.633 MiB       del x[:]
     9   99.637 MiB    0.000 MiB       return y

与深层复制相反，如果我使用复制，删除后似乎内存会恢复到新创建 x 时的先前状态

Line #    Mem usage    Increment   Line Contents
================================================
     4   28.039 MiB    0.000 MiB   @profile
     5                             def function():
     6   59.090 MiB   31.051 MiB       x = list(range(1000000))  # allocate a big list
     7   66.895 MiB    7.805 MiB       y = copy.copy(x)
     8   59.262 MiB   -7.633 MiB       del x[:]
     9   59.262 MiB    0.000 MiB       return y

对于字典：

Line #    Mem usage    Increment   Line Contents
================================================
     4   28.051 MiB    0.000 MiB   @profile
     5                             def function():
     6  100.523 MiB   72.473 MiB       x = dict((e, e) for e in xrange(1000000))
     7  183.398 MiB   82.875 MiB       y = copy.deepcopy(x)
     8  135.395 MiB  -48.004 MiB       del x
     9  135.395 MiB    0.000 MiB       return y

对于列表列表（与整数列表相比，我假设 del x 或 del x[:] 只删除堆上的巨大数组列表？）：

Line #    Mem usage    Increment   Line Contents
================================================
     4   28.043 MiB    0.000 MiB   @profile
     5                             def function():
     6  107.691 MiB   79.648 MiB       x = [[] for _ in xrange(1000000)]
     7  222.312 MiB  114.621 MiB       y = copy.deepcopy(x)
     8  214.680 MiB   -7.633 MiB       del x[:]
     9  214.680 MiB    0.000 MiB       return y

所以我想问：

1. 那么如果没有办法收回那些被整数占用的内存呢？整数也是一个对象，对吗？为什么内存根本没有被释放？不能只要求整数吗？或者还有浮动和字符串？对象引用也是如此吗？
2. 为什么内存有-7 MB？是因为作为数组列表实现的列表从堆中释放了吗？
3. 无论是list还是dict，del x只能释放数据结构本身（我的意思是数组列表结构，或者dict结构），但是整数、对象引用可以标记为free，但不能返回给系统？

在这个例子中，我该如何释放 x 中的所有下划线列表？

Line #    Mem usage    Increment   Line Contents
================================================
     4   28.047 MiB    0.000 MiB   @profile
     5                             def function():
     6  248.008 MiB  219.961 MiB       x = [list(range(10)) for _ in xrange(1000000)]
     7  502.195 MiB  254.188 MiB       y = copy.deepcopy(x)
     8  494.562 MiB   -7.633 MiB       del x[:]
     9  494.562 MiB    0.000 MiB       return y

TL;DR

del不像 C 中那样释放变量，它只是表示您不再需要它。接下来发生的是实现细节。

基本原理

所以这里发生的事情是del https://docs.python.org/reference/simple_stmts.html#the-del-statement does not释放内存，它只是告诉 python 你已经完成了变量的处理。具体来说：

7.5。德尔声明

del_stmt ::= “del” target_list

删除是递归定义的，与定义赋值的方式非常相似。这里没有详细说明，而是提供一些提示。

删除目标列表会从左到右递归地删除每个目标。

删除名称会从本地或全局命名空间中删除该名称的绑定，取决于该名称是否出现在同一代码块的全局语句中。如果名称未绑定，则会引发 NameError 异常。

属性引用、订阅和切片的删除被传递给所涉及的主要对象；删除切片通常相当于分配正确类型的空切片（但即使这也是由切片对象决定的）。

请注意，没有提到释放内存。相反，你告诉 python 它可以用该内存做“任何它想做的事”。在这种情况下，您的 python 实现（我假设是 CPython）将内存存储在内存缓存中以供以后使用。这使得 python 运行得更快，因为以后不需要分配那么多内存。

Example

考虑这个例子，我们del x然后创建一个副本y再次。请注意，第二次复制期间分配的内存量小于第一次复制期间分配的内存量。这是因为内存被重复使用。如果我们再次这样做，我们会发现在第三次复制期间几乎没有分配任何内存，因为 python 只是重新使用之前分配的内存：

Line #    Mem usage    Increment   Line Contents
================================================
     4   34.777 MiB    0.000 MiB   @profile
     5                             def function():
     6   37.504 MiB    2.727 MiB       x = [list(range(10)) for _ in xrange(10000)]
     7   40.773 MiB    3.270 MiB       y = copy.deepcopy(x)
     8   40.773 MiB    0.000 MiB       del x
     9   41.820 MiB    1.047 MiB       y2 = copy.deepcopy(y)
    10   41.820 MiB    0.000 MiB       del y2
    11   41.824 MiB    0.004 MiB       y3 = copy.deepcopy(y)
    12   41.824 MiB    0.000 MiB       return y

Sources

优秀的“博客”：http://www.evanjones.ca/memoryallocator/ http://www.evanjones.ca/memoryallocator/

http://effbot.org/pyfaq/why-doesnt-python-release-the-memory-when-i-delete-a-large-object.htm http://effbot.org/pyfaq/why-doesnt-python-release-the-memory-when-i-delete-a-large-object.htm