zeroRPC:发送响应后保持 运行 进程
zeroRPC: keep running process after response is sent
我正在使用 Python 2.7 和 zeroRPC 使客户端和服务器进行通信。我希望客户端向服务器发送请求,我希望服务器发送响应以确认它已收到请求。但后来我希望服务器对该请求执行一些繁重的计算。这些计算将花费数小时并且不会产生任何响应,因此客户不应该一直等待;客户端-服务器连接应在服务器确认已收到请求后立即终止。我该怎么做?
这是我现在拥有的(简化版)。
服务器代码:
impor time
import zerorpc
class HelloRPC(object):
def hey(self, name):
print 'Hey, %s' % name # just so I can check that the request was received
# send response confirming that request was received
# terminate connection
time.sleep(100000000000000) # some heavy computations
s = zerorpc.Server(HelloRPC())
s.bind('tcp://0.0.0.0:4242')
s.run()
客户代码:
import zerorpc
c = zerorpc.Client()
c.connect('tcp://MyServerName:4242')
c.hey('macarena')
它不起作用:我得到 zerorpc.exceptions.LostRemote: Lost remote after 10s heartbeat
。我知道我可以使用 heartbeat
参数使连接无限期地持续下去,但正如我所说,计算将花费数小时并且不会产生任何响应,所以我认为我不应该保持连接。
我读过有关 gevent 的内容,但我不知道如何将它用于此目的(它甚至是完成这项工作的正确工具吗?)。我应该使用 Python 的多处理包来生成子进程或类似的东西吗?这种事情怎么办?
发生这种情况是因为服务器没有发回心跳。主线程在一些非 gevent 合作循环中被阻塞大约 10 秒(默认心跳频率的 2 倍)。
Gevent 运行合作地使用您的协程 (greenlets)。如果协程从不退回到 gevent 循环,它会阻塞循环。
也许您的任务是 CPU 限制的,在这种情况下,您试图保持合作,同时在 CPU 上搅动了很长时间。您可以通过两种方式 运行 CPU 将代码与 zerorpc(和 gevent)绑定:
定期返回到 gevent IOLoop (gevent.sleep(0)
)。由于默认的心跳是5s,心跳频率加倍后会断线,所以为了安全起见,你必须大约每5s yield一次。
一个更通用的解决方案是 运行 CPU 在他们自己的进程中绑定代码(例如,每个 CPU 一个进程):
- 一个进程将成为您的服务 API,可通过网络访问(zerorpc.Server 并启用检测信号)。这个进程从不阻塞,尊重协作调度。
- 您有多少进程就可以进行密集计算CPU。
- 您的服务 API 和您的 CPU 绑定进程与 zerorpc 通信,但这次心跳关闭(并且可能是一个非常长的超时值)。
- 在服务 API 进程中,您可以控制自己对 CPU 绑定进程的争用。
我正在使用 Python 2.7 和 zeroRPC 使客户端和服务器进行通信。我希望客户端向服务器发送请求,我希望服务器发送响应以确认它已收到请求。但后来我希望服务器对该请求执行一些繁重的计算。这些计算将花费数小时并且不会产生任何响应,因此客户不应该一直等待;客户端-服务器连接应在服务器确认已收到请求后立即终止。我该怎么做?
这是我现在拥有的(简化版)。
服务器代码:
impor time
import zerorpc
class HelloRPC(object):
def hey(self, name):
print 'Hey, %s' % name # just so I can check that the request was received
# send response confirming that request was received
# terminate connection
time.sleep(100000000000000) # some heavy computations
s = zerorpc.Server(HelloRPC())
s.bind('tcp://0.0.0.0:4242')
s.run()
客户代码:
import zerorpc
c = zerorpc.Client()
c.connect('tcp://MyServerName:4242')
c.hey('macarena')
它不起作用:我得到 zerorpc.exceptions.LostRemote: Lost remote after 10s heartbeat
。我知道我可以使用 heartbeat
参数使连接无限期地持续下去,但正如我所说,计算将花费数小时并且不会产生任何响应,所以我认为我不应该保持连接。
我读过有关 gevent 的内容,但我不知道如何将它用于此目的(它甚至是完成这项工作的正确工具吗?)。我应该使用 Python 的多处理包来生成子进程或类似的东西吗?这种事情怎么办?
发生这种情况是因为服务器没有发回心跳。主线程在一些非 gevent 合作循环中被阻塞大约 10 秒(默认心跳频率的 2 倍)。
Gevent 运行合作地使用您的协程 (greenlets)。如果协程从不退回到 gevent 循环,它会阻塞循环。
也许您的任务是 CPU 限制的,在这种情况下,您试图保持合作,同时在 CPU 上搅动了很长时间。您可以通过两种方式 运行 CPU 将代码与 zerorpc(和 gevent)绑定:
定期返回到 gevent IOLoop (
gevent.sleep(0)
)。由于默认的心跳是5s,心跳频率加倍后会断线,所以为了安全起见,你必须大约每5s yield一次。一个更通用的解决方案是 运行 CPU 在他们自己的进程中绑定代码(例如,每个 CPU 一个进程):
- 一个进程将成为您的服务 API,可通过网络访问(zerorpc.Server 并启用检测信号)。这个进程从不阻塞,尊重协作调度。
- 您有多少进程就可以进行密集计算CPU。
- 您的服务 API 和您的 CPU 绑定进程与 zerorpc 通信,但这次心跳关闭(并且可能是一个非常长的超时值)。
- 在服务 API 进程中,您可以控制自己对 CPU 绑定进程的争用。