kafka 频道中的动态主题使用 flume

Question

是否有可能有一个带有动态主题的 kafka 频道 - 比如可以在其中指定主题 header 的 kafka 接收器，或者可以在其中使用 [=15] 中的值的 HDFS 接收器=]?

我知道我可以多路复用以使用多个通道（具有一堆通道配置），但这是不可取的，因为我希望有一个动态 HDFS 接收器，而不是每个 kafka 通道都有一个 HDFS 接收器。

Answer 1

我的理解是 Flume Kafka 通道只能映射到单个主题，因为它同时生成和使用该特定主题的日志。

查看 Flume 1.6.0 中 KafkaChannel.java 中的代码，我可以看到只有一个主题被订阅（每个线程有一个消费者）。