为什么 subprocess.Popen 不等到子进程终止？

我对 Python 的 subprocess.Popen 方法有疑问。

这是一个演示该问题的测试脚本。它正在 Linux 机器上运行。

#!/usr/bin/env python
import subprocess
import time

def run(cmd):
  p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
  return p

### START MAIN
# copy some rows from a source table to a destination table
# note that the destination table is empty when this script is run
cmd = 'mysql -u ve --skip-column-names --batch --execute="insert into destination (select * from source limit 100000)" test'
run(cmd)

# check to see how many rows exist in the destination table
cmd = 'mysql -u ve --skip-column-names --batch --execute="select count(*) from destination" test'
process = run(cmd)
count = (int(process.communicate()[0][:-1]))

# if subprocess.Popen() waited for the child to terminate than count should be
# greater than 0
if count > 0:
  print "success: " + str(count)
else:
  print "failure: " + str(count)
  time.sleep(5)

  # find out how many rows exists in the destination table after sleeping
  process = run(cmd)
  count = (int(process.communicate()[0][:-1]))
  print "after sleeping the count is " + str(count)

通常该脚本的输出是：

success: 100000

但有时是

failure: 0
after sleeping the count is 100000

请注意，在失败的情况下，插入后立即选择显示 0 行，但在休眠 5 秒后，第二个选择正确显示行数 100000。我的结论是以下其中一项是正确的：

1. subprocess.Popen 不等待子线程终止 - 这似乎与文档相矛盾
2. mysql插入不是原子的-我对mysql的理解似乎表明插入是原子的
3. select 没有立即看到正确的行数 - 据一位比我更了解 mysql 的朋友说，这也不应该发生

我缺少什么？

仅供参考，我知道这是一种从 Python 与 mysql 交互的 hacky 方式，而 MySQLdb 可能不会有这个问题，但我很好奇为什么这种方法不起作用。

subprocess.Popen，实例化后运行该程序。然而，它不会等待它——它会在后台触发它，就像你输入了一样cmd &在一个壳里。因此，在上面的代码中，您基本上定义了一个竞争条件 - 如果插入可以及时完成，它将显示正常，但如果不能，您会得到意外的输出。你没有等待你的第一次run()'d PID 完成后，您只需返回它的Popen实例并继续。

我不确定这种行为与文档有何矛盾，因为 Popen 上有一些非常明确的方法似乎表明不等待它，例如：

Popen.wait()
  Wait for child process to terminate. Set and return returncode attribute.

不过，我确实同意该模块的文档可以改进。

要等待程序完成，我建议使用subprocess的便捷方法，subprocess.call，或使用communicate on a Popen对象（用于需要标准输出的情况）。您已经在第二次通话中执行此操作了。

### START MAIN
# copy some rows from a source table to a destination table
# note that the destination table is empty when this script is run
cmd = 'mysql -u ve --skip-column-names --batch --execute="insert into destination (select * from source limit 100000)" test'
subprocess.call(cmd)

# check to see how many rows exist in the destination table
cmd = 'mysql -u ve --skip-column-names --batch --execute="select count(*) from destination" test'
process = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
try: count = (int(process.communicate()[0][:-1]))
except: count = 0

此外，在大多数情况下，您不需要在 shell 中运行该命令。这是其中一种情况，但您必须像序列一样重写命令。这样做还可以让您避免传统的 shell 注入，并且不用担心引用，如下所示：

prog = ["mysql", "-u", "ve", "--execute", 'insert into foo values ("snargle", 2)']
subprocess.call(prog)

这甚至可以工作，并且不会像您期望的那样注入：

prog = ["printf", "%s", "<", "/etc/passwd"]
subprocess.call(prog)

以交互方式尝试一下。您可以避免 shell 注入的可能性，特别是在您接受用户输入时。我怀疑您正在使用不太令人敬畏的字符串方法与子进程通信，因为您在使序列正常工作时遇到了麻烦:^)