在 Kafka 连接源连接器中使用消息密钥

Question

我正在使用 Kafka connect JDBC 源连接器从数据库中的视图中读取，post 它在 kafka 上，它工作正常。

我的用例是用户可以创建多个对象，对象的顺序在我的应用程序中很重要。我想将用户 ID 用作我正在进入主题的所有消息的消息键，以维持它们的顺序。

我的问题是如何在 Kafka 连接源连接器中定义消息密钥？

Answer 1

您可以通过将以下代码添加到 connect-file-source 配置文件来使用 Kafka Connect 的 SMT（单消息转换）功能。

transforms=createKey
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=UserId <name of user id column>

关于 SMT 的更多信息here

在 Kafka 连接源连接器中使用消息密钥

Use message key in Kafka connect source connector

apache-kafka

apache-kafka-connect