ELK Community Beats 在 ELK 上获取 AWS 日志
ELK Community Beats to gets AWS logs on ELK
我在 Ubuntu 16.xx（AWS EC2 实例）上设置了我的 ELK 服务器。
1 - 我需要监控我的 AWS 服务（SNS、SQS、SES、Lambda、Ec2、S3 ELB CloudWatch 等）
2 - 如何从我的 aws 服务和 post 获取实时日志到我的 Kibana 仪表板（是否有任何 plugin/beat/integration api）。
是否有社区节拍可以帮助我将日志从 AWS 获取到 ELK。
https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html
谢谢
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-cloudwatch.html
您可能想使用 Cloudwatch Logstash 插件并配置它以将该数据提取到您的 elasticsearch 中，我相信这是执行此操作的最简单方法。
您可以使用以下节拍检索 cloudwatch 日志和指标。
cloudwatchmetricbeat - Amazon Web Services 的 CloudWatch 指标的节拍。
cloudwatchlogsbeat - 从 Amazon Web Services 的 CloudWatch Logs 中读取日志事件。
将 AWS 日志流式传输到 ELK 集群的更多选项是：
1) 首先将所有 AWS 日志推送到 S3 存储桶，然后使用 Logstash 的 "S3 input plugin" 将日志从 S3 流式传输到 logstash。
2) 使用 lambda 函数将所有 cloudwatch 日志直接流式传输到您的 ELK 集群。参考这个：https://github.com/blueimp/aws-lambda/tree/master/cloudwatch-logs-to-elastic-cloud
Elastic Stack 6.5 已于 11 月 14 日发布，名为 Functionbeat 的新版本可让您轻松将 Cloudwatch 日志流式传输到 ES。
我在 Ubuntu 16.xx（AWS EC2 实例）上设置了我的 ELK 服务器。 1 - 我需要监控我的 AWS 服务（SNS、SQS、SES、Lambda、Ec2、S3 ELB CloudWatch 等） 2 - 如何从我的 aws 服务和 post 获取实时日志到我的 Kibana 仪表板（是否有任何 plugin/beat/integration api）。 是否有社区节拍可以帮助我将日志从 AWS 获取到 ELK。
https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html
谢谢
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-cloudwatch.html
您可能想使用 Cloudwatch Logstash 插件并配置它以将该数据提取到您的 elasticsearch 中，我相信这是执行此操作的最简单方法。
您可以使用以下节拍检索 cloudwatch 日志和指标。
cloudwatchmetricbeat - Amazon Web Services 的 CloudWatch 指标的节拍。
cloudwatchlogsbeat - 从 Amazon Web Services 的 CloudWatch Logs 中读取日志事件。
将 AWS 日志流式传输到 ELK 集群的更多选项是：
1) 首先将所有 AWS 日志推送到 S3 存储桶，然后使用 Logstash 的 "S3 input plugin" 将日志从 S3 流式传输到 logstash。
2) 使用 lambda 函数将所有 cloudwatch 日志直接流式传输到您的 ELK 集群。参考这个：https://github.com/blueimp/aws-lambda/tree/master/cloudwatch-logs-to-elastic-cloud
Elastic Stack 6.5 已于 11 月 14 日发布，名为 Functionbeat 的新版本可让您轻松将 Cloudwatch 日志流式传输到 ES。