Python AIOHTTP.web 服务器多处理负载平衡器？

Question

我目前正在使用 aiohttp 模块开发网络应用程序。我正在使用：

aiohttp.web、asyncio、uvloop、aiohttp_session、aiohttp_security、aiomysql 和 aioredis

我有运行一些针对它的基准，虽然它们非常好，但我情不自禁地想要更多。我知道 Python 本质上是单线程的。 AIOHTTP 使用异步作为非阻塞，但我假设它没有利用所有 CPU 核心是否正确？

我的想法： 运行我的 aiohttp.web 代码的多个实例通过 concurrent.futures 在多处理模式下。每个进程将在不同的端口上为站点提供服务。然后我会在他们面前放一个负载均衡器。 MySQL 和 Redis 可用于在必要时共享状态，例如会话。

问题： 给定一个有多个 CPU 核心的服务器，这会导致预期的性能提升吗？如果是这样，是否有任何特定的模式可以避免出现问题？我想不出这些 aio 模块正在做的任何事情都需要只有一个线程，尽管我可能是错的。

注意：这不是我提出的主观问题。该模块当前绑定到一个 thread/process 或者不是 - 可以从多处理模块 + 负载平衡器中受益，也可以不能。

Answer 1

你是对的，asyncio 只使用一个 CPU。（一个事件循环只使用一个线程，因此只有一个 CPU）

你的整个项目是网络还是CPU绑定是我不能说的。你一定要试试。

您可以使用 nginx 或 haproxy 作为负载均衡器。

您甚至可以尝试完全不使用负载均衡器。我从未尝试过将此功能用于负载平衡，只是作为故障转移系统的概念证明。使用新内核，多个进程可以侦听同一个端口（当使用 SO_REUSEPORT 选项时），我猜是内核会进行循环。

这是一篇比较典型 nginx 配置与具有 SO_REUSEPORT 功能的 nginx 设置性能的文章的小 link：

https://blog.cloudflare.com/the-sad-state-of-linux-socket-balancing/

似乎 SO_REUSEPORT 可以相当均匀地分配 CPU 费用，但可能会增加响应时间的变化。不确定这是否与您的设置相关，但我想我已经让您知道了。

添加于 2020-02-04：

我在 2019-12-09 添加的解决方案有效，但触发了弃用警告。

当有更多的时间和时间自己测试它时，我将post改进的解决方案放在这里。目前您可以在

找到它

2019-12-09 添加：

这里是一个 HTTP 服务器的小例子，它可以在同一个套接字上启动多次侦听。内核将分发任务。不过我从来没有检查过这是否有效。

reuseport.py:

import asyncio
import os
import socket
import time
from aiohttp import web


def mk_socket(host="127.0.0.1", port=8000, reuseport=False):
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    if reuseport:
        SO_REUSEPORT = 15
        sock.setsockopt(socket.SOL_SOCKET, SO_REUSEPORT, 1)
    sock.bind((host, port))
    return sock

async def handle(request):
    name = request.match_info.get('name', "Anonymous")
    pid = os.getpid()
    text = "{:.2f}: Hello {}! Process {} is treating you\n".format(
        time.time(), name, pid)
    time.sleep(0.5)  # intentionally blocking sleep to simulate CPU load
    return web.Response(text=text)

if __name__ == '__main__':
    host = "127.0.0.1"
    port=8000
    reuseport = True
    app = web.Application()
    sock = mk_socket(host, port, reuseport=reuseport)
    app.add_routes([web.get('/', handle),
                    web.get('/{name}', handle)])
    loop = asyncio.get_event_loop()
    coro = loop.create_server(
        protocol_factory=app.make_handler(),
        sock=sock,
        )
    srv = loop.run_until_complete(coro)
    loop.run_forever()

还有一种测试方法：

./reuseport.py & ./reuseport.py & 
sleep 2 # sleep a little so servers are up
for n in 1 2 3 4 5 6 7 8 ; do wget -q http://localhost:8000/$n -O - & done

输出可能如下所示：

1575887410.91: Hello 1! Process 12635 is treating you
1575887410.91: Hello 2! Process 12633 is treating you
1575887411.42: Hello 5! Process 12633 is treating you
1575887410.92: Hello 7! Process 12634 is treating you
1575887411.42: Hello 6! Process 12634 is treating you
1575887411.92: Hello 4! Process 12634 is treating you
1575887412.42: Hello 3! Process 12634 is treating you
1575887412.92: Hello 8! Process 12634 is treating you

Answer 2

我认为最好不要重新发明轮子并使用文档中建议的解决方案之一： https://docs.aiohttp.org/en/stable/deployment.html#nginx-supervisord

Python AIOHTTP.web 服务器多处理负载平衡器？

Python AIOHTTP.web server multiprocessing load-balancer?

python

load-balancing

multiprocessing

python-3.x

aiohttp