如何在 Kafka Connect Sink 中指定 Kafka 主题的分区

Question

我正在尝试为我的 Kafka Connect Sink 指定一个主题分区。特别是，我正在使用 DataStax Apache Kafka Connector.

有大量与为 Kafka 消费者指定主题分区相关的文档和资源，例如：

• https://kafka-tutorials.confluent.io/kafka-console-consumer-read-specific-offsets-partitions/kafka.html

但是，关于如何指定给定的 Kafka Connect Sink Connector 从哪个分区读取数据，我根本找不到任何信息。

好像是Confluent connector developer docs imply that specifying partition should be possible, but I don't see any config that I can set in the generic Kafka Sink Configuration Properties docs nor in the DSE Kafka Connector configuration docs.

我的理解是，Kafka Connect Sink 基本上是写入给定数据存储的 Kafka 消费者的特定实现。如果是这样，应该可以指定一个分区，对吗？还是我误解了 Kafka 连接器的工作原理？

Answer 1

您不能在 Connect API 中指定分区。它订阅所有分区，然后作为消费者组的一部分在工作任务中分发消费者实例。