Python: 与子进程回显

Question

我正在尝试从 python 脚本将任务分配给 qsub。

到目前为止，我一直在使用这样的表达式来提交qsub：

echo "python script.py arg1 arg2" | qsub

我试图在 python 中重现此命令：

command = 'echo "python sub_master_script.py ' + str(i) + ' ' + path + '" | qsub -pe make 5 -N Teaching_' + str(i) + ' -cwd'
subprocess.call(shlex.split(command))

虽然 command 带有我通常使用的命令，但当我启动 python 脚本时，它被解释为简单的 echo。

我没有开始一份新工作，而是在控制台中写了这个：

python sub_master_script.py 0.75 /data5/bio/runs-galkin/Iterative/test_OTU.txt | qsub -pe make 5 -N Teaching_0.75 -cwd

为什么会这样？我怎样才能让它发挥作用？

Answer 1

您正在大量使用 shell 功能，主要是运行 2 个进程通过管道连接在一起。

subprocess.call(shlex.split(command),shell=True)

是一个快速修复。

一个正确的方法是使用 1 个 subprocess.Popen 实例，通过 communicate 提供输入（模拟 echo python ...）并删除 shell=True（使用pipes.quote 正如 Charles 评论的那样，以确保在需要时正确引用字符串）

import pipes
input_string = "python sub_master_script.py {} {}\n".format(*(map(pipes.quote,[str(i),path])))

p = subprocess.Popen(['qsub','-pe','make','5','-N','Teaching_{}'.format(i),'-cwd'],stdin=subprocess.PIPE)
out,err = p.communicate(input_string)

Python: 与子进程回显

Python: echo with subprocess

python

subprocess

echo

qsub