在 EC2 容器服务上使用 Docker 的 ELK Stack

ELK Stack using Docker on EC2 Container Service

我正在考虑使用 Docker 图像在 AWS 上设置 ELK(ElasticSearch、LogStash 和 Kibana)堆栈。但是我不确定性能和持久存储。

如果我只是使用我的配置将 docker 图像部署到 EC2 容器服务,那么我想我还需要为 LogStash 和 ElasticSearch 指出一个持久存储的位置。 S3 存储是否足够快,或者当我谈论日志时,这是否重要。我很确定我可以忍受几分钟的索引延迟,但使用 Kibana,我想以相当快的速度获取数据。

对于每天有几个演出价值的日志的生产设置来说,这是一个可行的解决方案吗?一旦我们看到它的价值并开始记录更多以获得更多洞察力,我希望日志量会增加。

所以:

  1. 使用S3存储日志文件是否足够快?

  2. 对于每天产生 5 GB 以上数据的生产站点来说,这是一个可行的解决方案吗?

你可以看看AWS Elasticsearch Service。它是 Elastic Search 和 Kibana,即 AWS 上的一项服务,您无需手动管理。我刚刚开始将它用于我的(桌面应用程序)用户自愿报告的应用程序级事件,它真的很有用。