ThreadPoolExecutor 能否帮助单线程应用提高效率？

Question

我们想做一个电子商务应用程序，团队是 python 开发人员，但没有使用 python 网络框架（Django/Flask...），因为我们发现 Tornado 的优秀之处在于它的简单性，我们给了他很大的百分比。

但问题是，Tornado 是单线程的，应用程序将使用散列（登录）和图像处理（缩略图生成）。 ThreadPoolExecutor 能否像本例中那样扮演 Apache 这样的多线程服务器的角色？

from concurrent.futures import ThreadPoolExecutor
from tornado import gen
from tornado.process import cpu_count
import bcrypt


pool = ThreadPoolExecutor(cpu_count())

@gen.coroutine
def create_user(name, password):
    hashed_pw = yield pool.submit(bcrypt.hashpw, password, bcrypt.gensalt())
    yield save_user(name, hashed_pw)

@gen.coroutine
def login(name, password):
    user = yield load_user(name)
    match = yield pool.submit(bcrypt.checkpw, password, user.hashed_pw)
    if not match:
        raise IncorrectPasswordError()

因此，Tornado 将哈希工作发送到另一个线程，以释放自己并能够接收其他请求。这种方法行得通吗？

注意：还有一个涉及负载均衡器的解决方案，但团队现在不想追求这个解决方案。

Answer 1

是的，ThreadPoolExecutor 在这里会很好用。 hashpw and checkpw 似乎都在 CPU 操作的繁重部分释放了 GIL：

bcrypt_hashpw(PyObject *self, PyObject *args, PyObject *kw_args)
{
    ...
    Py_BEGIN_ALLOW_THREADS;
    ret = pybc_bcrypt(password_copy, salt_copy, hashed, sizeof(hashed));
    Py_END_ALLOW_THREADS;
    ...

这意味着您可以将工作分配给一个 CPU，同时用另一个 CPU 处理传入的请求。

请记住，如果您需要执行一些其他 CPU 绑定的操作运行 pure-Python（意味着 GIL 不会被释放），您'将需要使用 ProcessPoolExecutor 以避免性能下降。

ThreadPoolExecutor 能否帮助单线程应用提高效率？

Can ThreadPoolExecutor help single-threaded application efficiency?

python

multithreading

tornado

event-driven

concurrent.futures