检查 Linux 系统上 python 多处理中的 fork 行为

我必须从许多进程中访问一组大型且不可选取的 python 对象。因此，我想确保这些对象没有被完全复制。

根据评论this https://stackoverflow.com/questions/5549190/is-shared-readonly-data-copied-to-different-processes-for-python-multiprocessing and this https://stackoverflow.com/questions/10721915/shared-memory-objects-in-python-multiprocessingpost，对象不会被复制（在unix系统上），除非它们被改变。然而，引用一个对象将会改变它的引用计数，而引用计数又会被复制。

到目前为止这是正确的吗？由于我担心的是大型对象的大小，因此如果复制这些对象的小部分，我不会有问题。

为了确保我正确理解所有内容并且不会发生意外情况，我实现了一个小测试程序：

from multiprocessing import Pool

def f(arg):
    print(l, id(l), object.__repr__(l))
    l[arg] = -1
    print(l, id(l), object.__repr__(l))

def test(n):
    global l
    l = list(range(n))
    with Pool() as pool: 
        pool.map(f, range(n))
    print(l, id(l), object.__repr__(l))

if __name__ == '__main__':
    test(5) 

在第一行f，我期望id(l)在所有函数调用中返回相同的数字，因为列表在调用之前没有更改id check.

另一方面，在第三行f, id(l)应该在每个方法调用中返回不同的数字，因为列表在第二行中发生了更改。

然而，程序的输出让我感到困惑。

[0, 1, 2, 3, 4] 139778408436488 <list object at 0x7f20b261d308>
[-1, 1, 2, 3, 4] 139778408436488 <list object at 0x7f20b261d308>
[0, 1, 2, 3, 4] 139778408436488 <list object at 0x7f20b261d308>
[0, -1, 2, 3, 4] 139778408436488 <list object at 0x7f20b261d308>
[0, 1, 2, 3, 4] 139778408436488 <list object at 0x7f20b261d308>
[0, 1, -1, 3, 4] 139778408436488 <list object at 0x7f20b261d308>
[0, 1, 2, 3, 4] 139778408436488 <list object at 0x7f20b261d308>
[0, 1, 2, -1, 4] 139778408436488 <list object at 0x7f20b261d308>
[0, 1, 2, 3, 4] 139778408436488 <list object at 0x7f20b261d308>
[0, 1, 2, 3, -1] 139778408436488 <list object at 0x7f20b261d308>
[0, 1, 2, 3, 4] 139778408436488

该 id 在所有呼叫和线路中都是相同的f。即使列表在末尾保持不变（如预期），情况也是如此，这意味着列表has被复制。

如何查看对象是否已被复制？

您的困惑似乎是由于误解了流程和fork工作。每个进程都有自己的地址空间，因此两个进程可以使用相同的地址而不会发生冲突。这也意味着一个进程无法访问另一个进程的内存，除非将相同的内存映射到两个进程中。

当一个进程调用fork系统调用时，操作系统创建一个新的子进程，它是父进程的克隆。与任何其他进程一样，该克隆具有与其父进程不同的自己的地址空间。然而，地址空间的内容是父地址空间的精确副本。这过去是通过将父进程的内存复制到为子进程分配的新内存中来完成的。这意味着一旦子进程和父进程在fork任何一个进程对自己的内存所做的任何修改都不会影响另一个进程。

然而，复制进程的整个地址空间是一项昂贵的操作，并且通常是一种浪费。大多数时候，新进程立即执行一个新程序，这会导致子进程的地址空间被完全替换。因此，现代类 Unix 操作系统使用“写时复制”fork执行。不是复制父进程的内存，而是将父进程的内存映射到子进程中，以便它们可以共享相同的内存。然而，旧的语义仍然保留。如果子进程或父进程修改了共享内存，则修改的页面将被复制，以便两个进程不再共享该内存页面。

当。。。的时候multiprocessing模块调用你的f它在使用创建的子进程中执行此操作fork系统调用。由于该子进程是父进程的克隆，因此它还有一个名为的全局变量l它指的是两个进程中具有相同ID（地址）和相同内容的列表。也就是说，直到您修改引用的列表l在子进程中。 ID 不会（也不能）更改，但列表的子版本不再与父版本相同。父级列表的内容不影响子级所做的修改。

请注意，上一段中描述的行为是否正确fork是否使用写时复制。就multiprocessing模块和 Python 一般都关心这只是一个实现细节。无论如何，有效结果是相同的。这意味着你无法真正在 Python 程序中进行测试fork使用实现。