kafka 在接收器连接器属性中连接多个主题

Question

我正在尝试使用 Cassandra 接收器连接器阅读 2 个 kafka 主题并插入到 2 个 Cassandra 表中。我该怎么做呢？

这是我的 connector.properties 文件：

name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=topic1,topic2
connect.cassandra.kcql=INSERT INTO ks.table1 SELECT * FROM topic1;INSERT INTO ks.table2 SELECT * FROM topic2 
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=ks
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra

我做的一切都对吗？这是执行此操作的最佳方法还是我应该创建两个单独的连接器？

Answer 1

如果您想在一个消费者中使用这两个主题，那很好，而且设置正确。执行此操作的最佳方法取决于这些消息是否应由一个或两个消费者使用。所以这取决于你的业务逻辑。

无论如何，如果您想通过一个消费者使用两个主题，那么应该可以找到，因为消费者可以订阅多个主题。你试过运行这个消费者吗？有用吗？

Answer 2

您的配置存在一个问题。每个主题分区需要一个任务。因此，如果您的主题只有一个分区，则需要 tasks.max 至少设置为 2。

我没有在 Connect 的文档中看到它，这很遗憾

kafka 在接收器连接器属性中连接多个主题

kafka connect multiple topics in sink connector properties

cassandra

apache-kafka

apache-kafka-connect