python: multiprocessing.Pipe 并重定向标准输出

python: multiprocessing.Pipe and redirecting stdout

我正在使用 multiprocessing 包生成第二个进程,我想从中将 stdout 和 stderr 重定向到第一个进程。我正在使用 multiprocessing.Pipe 对象:

dup2(output_pipe.fileno(), 1)

其中 output_pipemultiprocessing.Pipe 的实例。但是,当我尝试在另一端阅读时,它就会挂起。我尝试使用 Pipe.recv_bytes 进行限制阅读,但这引发了 OSError。这完全可能还是我应该切换到一些较低级别的管道功能?

在 Python 2.7 中进行试验后,我得到了这个工作示例。使用 os.dup2 管道的文件描述符被复制到标准输出文件描述符,并且每个 print 函数最终写入管道。

import os
import multiprocessing


def tester_method(w):
    os.dup2(w.fileno(), 1)

    for i in range(3):
        print 'This is a message!'


if __name__ == '__main__':
    r, w = multiprocessing.Pipe()

    reader = os.fdopen(r.fileno(), 'r')

    process = multiprocessing.Process(None, tester_method, 'TESTER', (w,))
    process.start()

    for i in range(3):
        print 'From pipe: %s' % reader.readline()

    reader.close()
    process.join()

输出:

From pipe: This is a message!

From pipe: This is a message!

From pipe: This is a message!

现有答案适用于原始文件描述符,但这可能对使用 Pipe.send() 和 recv:

有用
    class PipeTee(object):
        def __init__(self, pipe):
            self.pipe = pipe
            self.stdout = sys.stdout
            sys.stdout = self

        def write(self, data):
            self.stdout.write(data)
            self.pipe.send(data)

        def flush(self):
            self.stdout.flush()

        def __del__(self):
            sys.stdout = self.stdout

要使用它,请在多进程函数中创建对象,将其传递给 multiprocessing.Pipe 的写入端,然后使用 recv 在父进程上使用读取端,使用 [=13] =]检查数据是否存在。