是否可以使用 flume 作为 kafka 生产者进行日志摄取？

Question

我的任务是为应用日志摄取配置一个简单的管道。此管道的先决条件是使用 kafka 作为传输协议。据我了解，flume 具有摄取日志文件的内置功能。有没有办法使用 flume 作为生产者，并将其输出传递到 kafka 主题？

Answer 1

是的，您可以使用 Flume 作为 Kafka 的生产者。看看 Flume 提供的 API：https://flume.apache.org/releases/content/1.6.0/apidocs/org/apache/flume/sink/kafka/KafkaSink.html

Answer 2

是的，你可以使用。如之前的回复所述。

只是想补充一点，您需要进行类似于以下的配置：

# Sources, channels, and sinks are defined per
# agent name, in this case flume1.
flume1.sources  = kafka-source-1
flume1.channels = hdfs-channel-1
flume1.sinks    = hdfs-sink-1

# For each source, channel, and sink, set
# standard properties.
flume1.sources.kafka-source-1.type = org.apache.flume.source.kafka.KafkaSource
flume1.sources.kafka-source-1.zookeeperConnect = ...

是否可以使用 flume 作为 kafka 生产者进行日志摄取？

Is it possible to use flume as kafka producer for log ingestion?

flume

apache-kafka