Python - 将 TCP 套接字对象传递给多处理队列

Question

我有一个 TCP 服务器和客户端。在服务器脚本的某个时刻，我启动了一个进程，该进程需要能够获取每个新连接并向其发送数据。为此，我有一个 multiprocessing.Queue()，我想将来自主进程的每个新连接都放入其中，以便我打开的进程可以从中获取连接并向它们发送数据。但是，您似乎无法将任何想要的内容传递给队列。当我尝试传递连接（套接字对象）时，我得到：

Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/queues.py", line 266, in _feed
    send(obj)
TypeError: expected string or Unicode object, NoneType found

有没有我可以使用的替代品？

Answer 1

通过 multiprocessing.Queue 发送套接字从 python3.4 开始工作正常，因为从那个版本开始 ForkingPickler is used 序列化要放入队列中的对象，并且那个 pickler知道如何序列化套接字和其他包含文件句柄的对象。

multiprocessing.reduction.ForkingPickler class 确实已经存在于 python2.7 中并且可以 pickle 套接字，只是 multiprocessing.Queue.

没有使用它

如果您不能切换到 python3.4+ 并且确实需要 python2.7 中的类似功能，解决方法是创建一个使用 ForkingPickler 序列化对象的函数，例如:

from multiprocessing.reduction import ForkingPickler
import StringIO

def forking_dumps(obj):
    buf = StringIO.StringIO()
    ForkingPickler(buf).dump(obj)
    return buf.getvalue()

您无需直接发送套接字，而是需要发送其腌制版本并在消费者中取消腌制。简单示例：

from multiprocessing import Queue, Process
from socket import socket
import pickle

def handle(q):
    sock = pickle.loads(q.get())
    print 'rest:', sock.recv(2048)

if __name__ == '__main__':
    sock = socket()
    sock.connect(('httpbin.org', 80))
    sock.send(b'GET /get\r\n')
    # first bytes read in parent
    print 'first part:', sock.recv(50)

    q = Queue()
    proc = Process(target=handle, args=(q,))
    proc.start()
    # use the function from above to serialize socket
    q.put(forking_dumps(sock))
    proc.join()

使套接字可腌制仅在多处理上下文中有意义，将其写入文件并稍后使用或尝试在不同的电脑上或在原始进程结束后使用它是没有意义的。因此，让套接字在全球范围内 pickleable 并不是一个好主意（例如，通过使用 copyreg 机制）。

Python - 将 TCP 套接字对象传递给多处理队列

Python - Passing a TCP socket object to a multiprocessing Queue

sockets

python-2.7

python-multiprocessing