Kafka-Connect 与 Filebeat 和 Logstash
Kafka-Connect vs Filebeat & Logstash
我希望从 Kafka 消费并将数据保存到 Hadoop 和 Elasticsearch 中。
我目前看到了两种方法：使用 Filebeat 从 Kafka 消费并将其发送到 ES 并使用 Kafka-Connect 框架。有一个 Kafka-Connect-HDFS 和 Kafka-Connect-Elasticsearch 模块。
我不确定使用哪一个来发送流式数据。虽然我认为如果我想在某个时候从 Kafka 获取数据并将其放入 Cassandra，我可以为此使用 Kafka-Connect 模块，但 Filebeat 不存在这样的功能。
Kafka Connect 可以处理流式数据并且更加灵活。如果您只是想要弹性，Filebeat 是日志源的干净集成。但是，如果您要从 Kafka 连接到多个不同的接收器，Kafka Connect 可能就是您想要的。我建议您查看连接器集线器以查看当前可供您使用的一些开源连接器示例 http://www.confluent.io/product/connectors/
我希望从 Kafka 消费并将数据保存到 Hadoop 和 Elasticsearch 中。 我目前看到了两种方法：使用 Filebeat 从 Kafka 消费并将其发送到 ES 并使用 Kafka-Connect 框架。有一个 Kafka-Connect-HDFS 和 Kafka-Connect-Elasticsearch 模块。
我不确定使用哪一个来发送流式数据。虽然我认为如果我想在某个时候从 Kafka 获取数据并将其放入 Cassandra，我可以为此使用 Kafka-Connect 模块，但 Filebeat 不存在这样的功能。
Kafka Connect 可以处理流式数据并且更加灵活。如果您只是想要弹性，Filebeat 是日志源的干净集成。但是，如果您要从 Kafka 连接到多个不同的接收器，Kafka Connect 可能就是您想要的。我建议您查看连接器集线器以查看当前可供您使用的一些开源连接器示例 http://www.confluent.io/product/connectors/