Kafka Connect FileStreamSink 连接器不在输出文件中包含 KEY

Question

尝试使用简单的文件接收器连接器从主题中提取数据。生成的文件不包含事件键，我找不到启用它的设置。最终目标是使用源连接器加载文件并生成相同的样本数据，事件 KEY 非常重要。

谢谢

{
    "name": "save-seed-data",
    "config": {
        "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
        "tasks.max": "1",
        "name": "save-seed-data", 
        "topics": "FIRM",
        "file": "/tmp/FIRM.txt",
        "key.converter": "org.apache.kafka.connect.storage.StringConverter",
        "key.converter.schemas.enable": "false",
        "value.converter": "org.apache.kafka.connect.storage.StringConverter",
        "value.converter.schemas.enable": "false"  
    }
}

Answer 1

不确定您在输出中发现密钥的位置，因为 the source code only references the value。

不过，您可以下载并使用消息转换将键移到值中。

https://github.com/jcustenborder/kafka-connect-transform-archive

另外值得一提的是，FileStream 源连接器不解析数据。每行，还有，only goes into the value

一般来说，使用 kafkacat 对于来自文件的 dumping/loading 数据要简单得多。

Kafka Connect FileStreamSink 连接器不在输出文件中包含 KEY

Kafka Connect FileStreamSink connector does not include the KEY in the output file

apache-kafka

apache-kafka-connect