Python Popen 清理

我想使用相当于在 perl 中管道传输一些 shell 命令的 python。类似于 python 版本的 open(PIPE, "command |")。

我转到子流程模块并尝试以下操作：

p = subprocess.Popen("zgrep thingiwant largefile", shell=True, stdout=subprocess.PIPE)

这可以像在 perl 中一样读取输出，但它不会自行清理。当我退出解释器时，我得到

grep: writing output: Broken pipe

在 stderr 上喷了几百万次。我想我天真地希望这一切都会为我解决，但事实并非如此。在 p 上调用终止或终止似乎没有帮助。查看进程表，我发现这会杀死 /bin/sh 进程，但将子 gzip 留在原处以抱怨管道损坏。

这样做的正确方法是什么？

问题是pipe已满。子进程停止，等待管道清空，但随后进程（Python 解释器）退出，破坏了管道的末尾（因此出现错误消息）。

p.wait()不会帮助你：

Warning如果子进程生成足够的输出到 stdout 或 stderr 管道，从而阻塞等待操作系统管道缓冲区接受更多数据，这将导致死锁。使用communicate()以避免这种情况。

http://docs.python.org/library/subprocess.html#subprocess.Popen.wait

p.communicate()不会帮助你：

Note读取的数据缓冲在内存中，因此如果数据量很大或无限制，请勿使用此方法。

http://docs.python.org/library/subprocess.html#subprocess.Popen.communicate

p.stdout.read(num_bytes)不会帮助你：

Warning Use communicate()而不是.stdin.write, .stdout.read or .stderr.read避免由于任何其他操作系统管道缓冲区填满并阻塞子进程而导致死锁。

http://docs.python.org/library/subprocess.html#subprocess.Popen.stdout

这个故事的寓意是，对于大产量，subprocess.PIPE如果您的程序试图读取数据，将会注定您会失败（在我看来，您应该能够将p.stdout.read(bytes) into a while p.returncode is None:循环，但上面的警告表明这可能会死锁）。

文档建议用以下内容替换 shell 管道：

p1 = Popen(["zgrep", "thingiwant", "largefile"], stdout=PIPE)
p2 = Popen(["processreceivingdata"], stdin=p1.stdout, stdout=PIPE)
output = p2.communicate()[0]

请注意p2直接从其标准输入p1. This should避免僵局，但考虑到上述相互矛盾的警告，谁知道.

无论如何，如果最后一部分不适合你（它should，但是），您可以尝试创建一个临时文件，写入第一次调用的所有数据，然后使用临时文件作为下一个进程的输入。