如何使用 Flume 将主题、kafka 下沉到 kafka？

Question

我正在尝试将日志从一个主题转移到另一个主题。我需要使用 Flume 将 Kafka 连接到 Kafka。往下看：

#
# Flume Conf
#

a1.sources = s1
a1.sinks = k1
a1.channels = c1


# Kafka Source

a1.sources.s1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.s1.kafka.bootstrap.servers = kafka:9092
a1.sources.s1.kafka.topics = apache


# Kafka Sink

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = kafka:9092


# Use a channel which buffers events in memory

a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000000
a1.channels.c1.transactionCapacity = 1000000


# Bind the source and sink to the channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

接收器未创建。

Answer 1

如果你想将数据从一个 Kafka 集群复制到另一个集群，有比 Flume 更好的方法，包括：

MirrorMaker，如@cricket_007 所述（开源，Apache Kafka 的一部分）
Confluent 的 Replicator（商业工具，30 天免费试用）
uReplicator (open sourced 来自优步）
Mirus (open sourced 来自 Salesforce）
Brucke（开源）

如果您想要真正肮脏的技巧，您也可以 do something with kafkacat and nc。

免责声明：我为 Confluent 工作。

如何使用 Flume 将主题、kafka 下沉到 kafka？

How sink topic, kafka to kafka, using Flume?

apache-kafka

flume-ng