python：multiprocessing.Pipe 并在 Windows 上重定向标准错误

Question

我有一个主进程，我在其中打开一个 multiprocessing.Pipe(False) 并将写入端发送给工作进程。然后，在工作进程中，我运行一个Java程序使用subprocces.Popen(['java', 'myprogram'], stdin=subprocess.PIPE, stdout=subprocess.PIPE)。我需要将这个子进程的错误重定向到multiprocessing.Pipe

的写端

为此我提到了因为这正是我想要实现的，但是在我的机器上 (Windows)，它抛出 OSError: [Errno 9] Bad file descriptor

机器详情：

OS - Windows 10（64 位）

Python 版本 - 3.7.4

代码：

方法一（）

def worker(w_conn):
    os.dup2(w_conn.fileno(), 2)
    sp = subprocess.Popen(['java', 'myprogram'], stdin=subprocess.PIPE, stdout=subprocess.PIPE)
    sp.wait()
    w_conn.close()


def main():
    r_conn, w_conn = multiprocessing.Pipe(False)
    process = multiprocessing.Process(target=worker, args=(w_conn,))
    process.start()
    
    while not r_conn.poll() and not w_conn.closed:
        # Do stuff
    else:
        # Read error from r_conn, and handle it
    
    r_conn.close()
    process.join()

if __name__=='__main__':
    main()

错误：

Process Process-1:
Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\process.py", line 297, in _bootstrap
    self.run()
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\process.py", line 99, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\User\Desktop\Workspace\Error.py", line 14, in worker
    os.dup2(w_conn.fileno(), 2)
OSError: [Errno 9] Bad file descriptor

方法二：在worker函数中，将w_conn作为参数传给Popen

def worker(w_conn):
    sp = subprocess.Popen(['java', 'myprogram'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=w_conn)
    sp.wait()
    w_conn.close()

错误：

Process Process-1:
Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\process.py", line 297, in _bootstrap
    self.run()
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\process.py", line 99, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\User\Desktop\Workspace\Error.py", line 13, in worker
    sp = subprocess.Popen(['java', 'myprogram'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=w_conn)
  File "C:\ProgramData\Anaconda3\lib\subprocess.py", line 728, in __init__
    errread, errwrite) = self._get_handles(stdin, stdout, stderr)
  File "C:\ProgramData\Anaconda3\lib\subprocess.py", line 1077, in _get_handles
    errwrite = msvcrt.get_osfhandle(stderr.fileno())
OSError: [Errno 9] Bad file descriptor

是否有任何 workaround/alternate 方法可以在 Windows 上实现此目标？

Answer 1

我仍然不知道为什么“方法 1”不起作用。任何有关此的信息将不胜感激。

“方法 2”完全错误，因为我们不能使用 Connection 对象（由 multiprocessing.Pipe() 返回）作为 subprocess.Popen.

中的文件句柄

有效的是检查子进程 sp 的 stderr 中的数据，并通过 w_conn 将数据发送到主进程。

def worker(w_conn):
    sp = subprocess.Popen(['java', 'myprogram'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    sp.wait()
    if sp.stderr.seek(0, io.SEEK_END)>0:
        w_conn.send(sp.stderr.read())
    w_conn.close()

python：multiprocessing.Pipe 并在 Windows 上重定向标准错误

python: multiprocessing.Pipe and redirecting stderr on Windows

python

windows

subprocess

python-multiprocessing

popen