弹性写入队列解决方案?

Elastic writing queue solution?

目前我的项目栈如下: 一个 python 运行 flask(使用 AWS Elastic Beanstalk 或 AWS Lambda,但没关系),每个路由为用户做一些事情并直接将日志写入 elasticsearch(使用 Elastic Cloud)。

我有一个问题 - 当我的 elasticsearch 变慢或变慢时,我的烧瓶会受到影响,此外,日志可能会丢失。

我正在寻找一种解决方案,我的烧瓶会将日志写入某些 queue/pubsub,并且会有 SOMETHING 从那里读取日志并且写入elasticsearch。

你对某事有什么建议吗? 我知道它可能是 logstash,但我想要一些易于在 AWS 或 Elastic Cloud 上部署、可扩展、易于写入并易于从中写入 elasticsearch 的东西。

最好的, 沙哈尔

在 elastic 和您的应用程序之间尝试某种队列(AWS SQS?)。您的应用程序写入队列,一些 service/lambda/logstash/... 读取队列并将文档存储在弹性中。例如,Kafka 也已经有一个用于此目的的弹性连接器。