使用 Popen.wait() 时重现死锁

从文档中使用Popen.wait() https://docs.python.org/2/library/subprocess.html#subprocess.Popen.wait may:

使用 stdout=PIPE 和/或 stderr=PIPE 以及子进程时出现死锁 进程向管道生成足够的输出，从而阻止等待 以便操作系统管道缓冲区接受更多数据。使用communicate()来避免 那。

在沟通中docs http://In%20communicate%20docs%20it's%20written%20that:%20The%20data%20read%20is%20buffered%20in%20memory,%20so%20do%20not%20use%20this%20method%20if%20the%20data%20size%20is%20large%20or%20unlimited上面写道：

读取的数据缓冲在内存中，因此如果以下情况请勿使用此方法 数据量很大或无限制

如何重现这种有问题的行为并查看使用Popen.communicate() https://docs.python.org/2/library/subprocess.html#subprocess.Popen.communicate修复它吗？

死锁意味着持有资源的进程之间会发生一些循环等待，并且永远卡住。 这里的循环依赖是什么？ Python进程等待子进程终止是一种等待。另一个是什么？在下面的场景中谁在等待什么？

它阻塞等待操作系统管道缓冲区接受更多数据

这很容易。

创建一个输出大量文本的进程don't读取输出：

p = subprocess.Popen(["ls","-R"],stdout=subprocess.PIPE)
p.wait()

一段时间后，标准输出管道已满，进程被阻塞。

这是一种死锁情况，因为子进程在消耗之前无法再向输出写入内容（即：从不），并且 python 进程等待子进程完成。

为了避免死锁，您可以使用读取行循环：

p = subprocess.Popen(["ls","-R"],stdout=subprocess.PIPE)
for line in p.stdout:
    # do something with the line
p.wait()

communicate也修复了这个问题，但也修复了两个输出的更棘手的情况and错误流被重定向到单独的流（在这种情况下，上面的简单循环仍然可能死锁）。

假设你有一个编译过程

p = subprocess.Popen(["gcc","-c"]+mega_list_of_files,stdout=subprocess.PIPE,stderr=subprocess.PIPE)

现在你想获得这个的输出，所以你这样做：

output = p.stdout.read()

不幸的是，当您读取输出流时，会弹出很多错误，从而阻塞错误流：再次死锁。

尝试读取错误流，可能会发生完全相反的情况：大量标准输出输出阻塞您的进程。

communicate使用多线程能够同时处理输出和错误流并将它们分开，没有阻塞的风险。唯一需要注意的是，您无法实时控制逐行处理输出/打印程序输出：

p = subprocess.Popen(["gcc","-c"]+mega_list_of_files,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
output,error = p.communicate()
return_code = p.wait()