对于Rasa core和Rasa nlu,应该如何建立可靠的基础设施?

For Rasa core and Rasa nlu, how should a reliable infrastructure?

我的 REST 应用程序是用 Python 和 Flask 开发的,我也在使用 Rasa Core 和 Rasa NLU。目前一切都是单一的本地开发服务器。您想知道理想的生产建议是什么吗?

我想象的场景:在一台服务器上处理所有 REST 火焰和数据库结构,将 Rasa Core 和 "micro" python 应用程序一起放在另一台服务器上,将 Rasa NLU 放在第三台服务器上.

但问题是:所有用户最终都会询问 3 个级联服务器,所以我认为所有服务器都受到相同的请求瓶颈。


如果将 1 个服务器全部保留或 3 个服务器保留,理想的设置是什么? (对于 AWS)

最scale-able您可以使用具有负载平衡的容器化解决方案。

  1. Rasa NLU 有一个 public docker 容器(或者你可以创建你的
    自己的)。使用 docker & kubernetes 将 NLU 扩展到任意大 你需要你的基地
  2. 为您的 rasa 核心创建单独的 docker 容器,连接到 NLU 负载均衡器以进行 NLU 翻译。如果需要,也可以在这里使用负载平衡器。
  3. 对您的 REST 应用程序执行相同的操作,连接到 #2 负载均衡器

此解决方案允许您单独扩展 NLU 和核心,但如果您需要单独扩展 REST 应用程序,也需要这样做。

如果你有兴趣,我写了一个教程here