用于部署 python 机器学习模型的通用 Web servers/frameworks?

Common web servers/frameworks for deploying python machine learning models?

我注意到 Databricks MLFlow and Amazon Sagemaker 都使用了 Nginx、Gunicorn 和 Flask 的组合。

我想知道这是否会成为部署机器学习模型(例如 Scikit-learn、Tensorflow、Keras)的标准堆栈。

如果是这样,是否有理由使用它们而不是像 Tornado 这样的替代品?

如果没有,有没有"standard stack"

我想,选择 Flask 而不是 Tornado 作为包装 ML 的网络框架的主要原因是 Flask 简单但功能丰富(使用插件)。 ML 通常是 CPU 和 RAM 绑定,Tornado 的主要优势是有效处理 IO 绑定操作,而 ML 则不是这样。但是选择 Tornado for ML 意味着更复杂的开发以实现零收益。如果您在 Tornado 中拥有主应用程序(如果您确实需要)并使用带有 Flask 的 ML 作为主应用程序的微服务,那将是更明智的做法。