使用 flume 将数据从 kafka topic 导入到 hdfs 文件夹

Using flume to import data from kafka topic to hdfs folder

我正在使用 flume 从 kafka 主题 HDFS 文件夹加载消息。所以，

  1. 我创建了一个话题TT
  2. 我用 kafka 控制台生产者
    3. 向 TT 发送了消息
  3. 我配置了 flume 代理 FF
  4. 运行 flume agent flume-ng agent -n FF -c conf -f flume.conf - Dflume.root.logger=INFO,console

代码执行停止，没有错误，并且没有向 HDFS 写入任何内容。日志文件包含此警告 主题 的消费者线程flume_-0 没有使用代理分区。

非常感谢任何帮助。提前致谢。:)

此 conf 解决了问题

  • FF.sources=kafka-源码
  • FF.channels = kafka-channel
  • FF.sinks =hdfs-sink FF.channels.kafka-channel.type org.apache.flume.channel.kafka.KafkaChannel
  • FF.channels.kafka-channel.kafka.bootstrap.servers = 宽纬度：9092
  • FF.channels.kafka-channel.kafka.topic = TT
  • FF.channels.kafka-channel.parseAsFlumeEvent = false
  • FF.sinks.hdfs-sink.hdfs.writeFormat = 文本
  • FF.sinks.hdfs-sink.channel = kafka-channel
  • FF.sinks.hdfs-sink.type = hdfs
  • FF.sinks.hdfs-sink.hdfs.path = hdfs://***:8020/spark/