子进程命令的实时输出

我使用 python 脚本作为流体动力学代码的驱动程序。当需要运行模拟时，我使用subprocess.Popen要运行代码，请收集输出stdout and stderr into a subprocess.PIPE--- 然后我可以打印（并保存到日志文件）输出信息，并检查是否有任何错误。问题是，我不知道代码进展如何。如果我直接从命令行运行它，它会给出有关迭代的时间、时间、下一个时间步长等的输出。

有没有办法既存储输出（用于日志记录和错误检查），又生成实时流输出？

我的代码的相关部分：

ret_val = subprocess.Popen( run_command, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True )
output, errors = ret_val.communicate()
log_file.write(output)
print output
if( ret_val.returncode ):
    print "RUN failed\n\n%s\n\n" % (errors)
    success = False

if( errors ): log_file.write("\n\n%s\n\n" % errors)

最初我正在管道run_command通过tee这样副本就直接进入日志文件，并且流仍然直接输出到终端——但这样我就无法存储任何错误（据我所知）。

到目前为止我的临时解决方案：

ret_val = subprocess.Popen( run_command, stdout=log_file, stderr=subprocess.PIPE, shell=True )
while not ret_val.poll():
    log_file.flush()

然后，在另一个终端中，运行tail -f log.txt (s.t. log_file = 'log.txt').

Python 3 的TLDR：

import subprocess
import sys

with open("test.log", "wb") as f:
    process = subprocess.Popen(your_command, stdout=subprocess.PIPE)
    for c in iter(lambda: process.stdout.read(1), b""):
        sys.stdout.buffer.write(c)
        f.buffer.write(c)

您有两种方法可以做到这一点，或者通过从read or readline功能并执行以下操作：

import subprocess
import sys

# replace "w" with "wb" for Python 3
with open("test.log", "w") as f:
    process = subprocess.Popen(your_command, stdout=subprocess.PIPE)
    # replace "" with b'' for Python 3
    for c in iter(lambda: process.stdout.read(1), ""):
        sys.stdout.write(c)
        f.write(c)

or

import subprocess
import sys

# replace "w" with "wb" for Python 3
with open("test.log", "w") as f:
    process = subprocess.Popen(your_command, stdout=subprocess.PIPE)
    # replace "" with b"" for Python 3
    for line in iter(process.stdout.readline, ""):
        sys.stdout.write(line)
        f.write(line)

或者您可以创建一个reader and a writer文件。通过writer to the Popen https://docs.python.org/3/library/subprocess.html#subprocess.Popen并从reader

import io
import time
import subprocess
import sys

filename = "test.log"
with io.open(filename, "wb") as writer, io.open(filename, "rb", 1) as reader:
    process = subprocess.Popen(command, stdout=writer)
    while process.poll() is None:
        sys.stdout.write(reader.read())
        time.sleep(0.5)
    # Read the remaining
    sys.stdout.write(reader.read())

这样你就可以将数据写入test.log以及标准输出。

文件方法的唯一优点是您的代码不会阻塞。因此，您可以在此期间做任何您想做的事情，并随时阅读reader以非阻塞的方式。当你使用PIPE, read and readline函数将阻塞，直到将一个字符写入管道或将一行写入管道。