具有自定义消费者组名称的 Kafka Sink Connector

Kafka Sink Connector with custom consumer-group name

在kafka connect中,所有的sink connector都会使用不同的组,命名转换为connect-connector_name。但我想使用自定义名称作为前缀。(我们可以在接收器配置中执行 - name properties,但默认设置它)

我试图在 consumer.properties 文件中设置它,但没有用。

有谁知道怎么设置的吗?另外,如果我为所有接收器连接器设置一个组会怎样?

Sink 任务的 ConsumerConfig group.id

总是有 connect- 前缀

https://issues.apache.org/jira/browse/KAFKA-4400


consumer.properties 用于(可选)kafka-console-consumer,而不是连接 API


happens if I set a single group for all my sink connector?

你是说一个连接器有一个 name?那么您希望 tasks.max 等于其消耗的所有主题的总分区。

如果您指的是多个连接器,那么您不能;同一个 Connect 集群中的所有连接器都需要一个唯一的 name/connector.class