python: multiprocessing.Pipe 并重定向标准输出
python: multiprocessing.Pipe and redirecting stdout
我正在使用 multiprocessing
包生成第二个进程,我想从中将 stdout 和 stderr 重定向到第一个进程。我正在使用 multiprocessing.Pipe
对象:
dup2(output_pipe.fileno(), 1)
其中 output_pipe
是 multiprocessing.Pipe
的实例。但是,当我尝试在另一端阅读时,它就会挂起。我尝试使用 Pipe.recv_bytes
进行限制阅读,但这引发了 OSError
。这完全可能还是我应该切换到一些较低级别的管道功能?
在 Python 2.7 中进行试验后,我得到了这个工作示例。使用 os.dup2
管道的文件描述符被复制到标准输出文件描述符,并且每个 print
函数最终写入管道。
import os
import multiprocessing
def tester_method(w):
os.dup2(w.fileno(), 1)
for i in range(3):
print 'This is a message!'
if __name__ == '__main__':
r, w = multiprocessing.Pipe()
reader = os.fdopen(r.fileno(), 'r')
process = multiprocessing.Process(None, tester_method, 'TESTER', (w,))
process.start()
for i in range(3):
print 'From pipe: %s' % reader.readline()
reader.close()
process.join()
输出:
From pipe: This is a message!
From pipe: This is a message!
From pipe: This is a message!
现有答案适用于原始文件描述符,但这可能对使用 Pipe.send() 和 recv:
有用
class PipeTee(object):
def __init__(self, pipe):
self.pipe = pipe
self.stdout = sys.stdout
sys.stdout = self
def write(self, data):
self.stdout.write(data)
self.pipe.send(data)
def flush(self):
self.stdout.flush()
def __del__(self):
sys.stdout = self.stdout
要使用它,请在多进程函数中创建对象,将其传递给 multiprocessing.Pipe
的写入端,然后使用 recv
在父进程上使用读取端,使用 [=13] =]检查数据是否存在。
我正在使用 multiprocessing
包生成第二个进程,我想从中将 stdout 和 stderr 重定向到第一个进程。我正在使用 multiprocessing.Pipe
对象:
dup2(output_pipe.fileno(), 1)
其中 output_pipe
是 multiprocessing.Pipe
的实例。但是,当我尝试在另一端阅读时,它就会挂起。我尝试使用 Pipe.recv_bytes
进行限制阅读,但这引发了 OSError
。这完全可能还是我应该切换到一些较低级别的管道功能?
在 Python 2.7 中进行试验后,我得到了这个工作示例。使用 os.dup2
管道的文件描述符被复制到标准输出文件描述符,并且每个 print
函数最终写入管道。
import os
import multiprocessing
def tester_method(w):
os.dup2(w.fileno(), 1)
for i in range(3):
print 'This is a message!'
if __name__ == '__main__':
r, w = multiprocessing.Pipe()
reader = os.fdopen(r.fileno(), 'r')
process = multiprocessing.Process(None, tester_method, 'TESTER', (w,))
process.start()
for i in range(3):
print 'From pipe: %s' % reader.readline()
reader.close()
process.join()
输出:
From pipe: This is a message!
From pipe: This is a message!
From pipe: This is a message!
现有答案适用于原始文件描述符,但这可能对使用 Pipe.send() 和 recv:
有用 class PipeTee(object):
def __init__(self, pipe):
self.pipe = pipe
self.stdout = sys.stdout
sys.stdout = self
def write(self, data):
self.stdout.write(data)
self.pipe.send(data)
def flush(self):
self.stdout.flush()
def __del__(self):
sys.stdout = self.stdout
要使用它,请在多进程函数中创建对象,将其传递给 multiprocessing.Pipe
的写入端,然后使用 recv
在父进程上使用读取端,使用 [=13] =]检查数据是否存在。