Kafka 主题与 Kafka Connect to HDFS 合并

Question

是否可以将 Kafka Connect 的 HDFS 连接器配置为 write/combine 多个单独的主题到一个文件中？

主题将包含具有相同 avro 模式的消息，我希望 KafkaConnect 充当这些 Kafka 主题和 HDFS 之间的中介。最坏的情况是主题内容在写入 HDFS 后可能会合并，但我觉得使用 HDFS 连接器应该可以实现更简洁、更快捷的方法。

Answer 1

现在 HDFS 连接器会将每个主题写入其自己的目录。你可以在写完之后在HDFS中组合目录，或者在写到HDFS之前在Kafka中组合topic，但是connector本身是不会做的。