弹性写入队列解决方案?
Elastic writing queue solution?
目前我的项目栈如下:
一个 python 运行 flask(使用 AWS Elastic Beanstalk 或 AWS Lambda,但没关系),每个路由为用户做一些事情并直接将日志写入 elasticsearch(使用 Elastic Cloud)。
我有一个问题 - 当我的 elasticsearch 变慢或变慢时,我的烧瓶会受到影响,此外,日志可能会丢失。
我正在寻找一种解决方案,我的烧瓶会将日志写入某些 queue/pubsub,并且会有 SOMETHING 从那里读取日志并且写入elasticsearch。
你对某事有什么建议吗?
我知道它可能是 logstash,但我想要一些易于在 AWS 或 Elastic Cloud 上部署、可扩展、易于写入并易于从中写入 elasticsearch 的东西。
最好的,
沙哈尔
在 elastic 和您的应用程序之间尝试某种队列(AWS SQS?)。您的应用程序写入队列,一些 service/lambda/logstash/... 读取队列并将文档存储在弹性中。例如,Kafka 也已经有一个用于此目的的弹性连接器。
目前我的项目栈如下: 一个 python 运行 flask(使用 AWS Elastic Beanstalk 或 AWS Lambda,但没关系),每个路由为用户做一些事情并直接将日志写入 elasticsearch(使用 Elastic Cloud)。
我有一个问题 - 当我的 elasticsearch 变慢或变慢时,我的烧瓶会受到影响,此外,日志可能会丢失。
我正在寻找一种解决方案,我的烧瓶会将日志写入某些 queue/pubsub,并且会有 SOMETHING 从那里读取日志并且写入elasticsearch。
你对某事有什么建议吗? 我知道它可能是 logstash,但我想要一些易于在 AWS 或 Elastic Cloud 上部署、可扩展、易于写入并易于从中写入 elasticsearch 的东西。
最好的, 沙哈尔
在 elastic 和您的应用程序之间尝试某种队列(AWS SQS?)。您的应用程序写入队列,一些 service/lambda/logstash/... 读取队列并将文档存储在弹性中。例如,Kafka 也已经有一个用于此目的的弹性连接器。