Filebeat Kafka Module 如何消费 Kafka Topic?
How Filebeat Kafka Module consume Kafka Topics?
我想从 Kafka Topic 发送消息到 Elastic Search。当我寻找解决方案时,我遇到了 Filebeat Kafka 模块。据我了解,这是一个使用给定主题的模块。
之后,我在他们的 GitHub 回购协议中对其进行了检查。但我不明白它是如何使用 Kafka 主题的。任何人都可以理解 Go 代码,可以向我解释它是如何工作的吗?
这是相关的 GitHub 回购:https://github.com/elastic/beats/tree/master/filebeat/module/kafka
那不是消费者,this is
如果您想了解它的工作原理,它使用 Sarama - https://github.com/Shopify/sarama
Filebeat 只是一个选项,但 Confluent 已与 Elasticsearch 合作维护 Elasticsearch Kafka Connector,因此如果您更熟悉 Java,那么您可以使用它(并且它的扩展性比 Filebeat 更好)
我想从 Kafka Topic 发送消息到 Elastic Search。当我寻找解决方案时,我遇到了 Filebeat Kafka 模块。据我了解,这是一个使用给定主题的模块。 之后,我在他们的 GitHub 回购协议中对其进行了检查。但我不明白它是如何使用 Kafka 主题的。任何人都可以理解 Go 代码,可以向我解释它是如何工作的吗? 这是相关的 GitHub 回购:https://github.com/elastic/beats/tree/master/filebeat/module/kafka
那不是消费者,this is
如果您想了解它的工作原理,它使用 Sarama - https://github.com/Shopify/sarama
Filebeat 只是一个选项,但 Confluent 已与 Elasticsearch 合作维护 Elasticsearch Kafka Connector,因此如果您更熟悉 Java,那么您可以使用它(并且它的扩展性比 Filebeat 更好)