ELK 与 Kafka 和 Hadoop
ELK with Kafka and Hadoop
我不是 'big data' 方面的专家:)
我的场景是几个 EC2 实例而不是生成日志。
这些日志基本上是 Syslog 和应用程序事件（自定义日志）。
我想使用 ELK 堆栈来捕获日志、应用过滤器和显示数据。
在某些情况下，我想将自定义事件发送到专用队列系统 ( rabbitMQ ) 以处理数据 ( 推荐引擎 )。
我的问题是，如果基本上我只想解析保留 24 小时的日志并使用 Debian 的日志轮换功能移动它们，为什么我应该使用像 Kafka 和 Hadoop 这样的工具？
非常感谢您的帮助！抱歉我的英语不好^^
如果有人感兴趣我已经用这种方法解决了：
1 - 为了使用默认日志轮换，我选择使用 Cloud Watch 服务，基本上它从 EC2 获取日志并将它们存储在云中。
2 - 为了将数据推送到 Logstash，我使用了 Lambda 服务，基本上它是一个可以执行 Java、Javascript (Nodejs) 或 [=19= 的环境] 代码。它从 CloudWatch 获取流数据流，我选择通过一个小的 Nodejs 脚本将日志存储在 S3 上。
3 - Logstash 实例直接使用来自 S3 的日志，为此有一个插件输入。
我不是 'big data' 方面的专家:)
我的场景是几个 EC2 实例而不是生成日志。
这些日志基本上是 Syslog 和应用程序事件（自定义日志）。
我想使用 ELK 堆栈来捕获日志、应用过滤器和显示数据。
在某些情况下，我想将自定义事件发送到专用队列系统 ( rabbitMQ ) 以处理数据 ( 推荐引擎 )。
我的问题是，如果基本上我只想解析保留 24 小时的日志并使用 Debian 的日志轮换功能移动它们，为什么我应该使用像 Kafka 和 Hadoop 这样的工具？
非常感谢您的帮助！抱歉我的英语不好^^
如果有人感兴趣我已经用这种方法解决了：
1 - 为了使用默认日志轮换，我选择使用 Cloud Watch 服务，基本上它从 EC2 获取日志并将它们存储在云中。
2 - 为了将数据推送到 Logstash，我使用了 Lambda 服务，基本上它是一个可以执行 Java、Javascript (Nodejs) 或 [=19= 的环境] 代码。它从 CloudWatch 获取流数据流，我选择通过一个小的 Nodejs 脚本将日志存储在 S3 上。
3 - Logstash 实例直接使用来自 S3 的日志，为此有一个插件输入。