S3 接收器连接器未在存储桶内创建密钥或头文件

Question

我正在使用最新版本的 S3 接收器连接器 (v10.0.5) 并启用了 kafka.keys 和 kafka.headers，但只创建了值文件。这是我们配置的副本：

connector.class=io.confluent.connect.s3.S3SinkConnector
format.class=io.confluent.connect.s3.format.avro.AvroFormat
errors.log.include.messages=true
s3.region=eu-west-1
flush.size=1
tasks.max=1
errors.log.enable=true
s3.bucket.name=sink-connector-backup-bcs
schema.compatibility=FULL
topics=onboardingStatus

store.kafka.keys=true
store.kafka.headers=true
keys.format.class=io.confluent.connect.s3.format.avro.AvroFormat
headers.format.class=io.confluent.connect.s3.format.avro.AvroFormat

value.converter=io.confluent.connect.avro.AvroConverter
value.converter.enhanced.avro.schema.support=true
value.converter.schema.registry.url=http://.......eu-west-1.compute.internal:8083

key.converter=io.confluent.connect.avro.AvroConverter
key.converter.enhanced.avro.schema.support=true
key.converter.schema.registry.url=http://.......eu-west-1.compute.internal:8083

names=s3-sink-onboardingStatus
s3.sse.kms.key.id=arn:aws:kms:eu-west-1:.......:key/......
partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner
storage.class=io.confluent.connect.s3.storage.S3Storage
auto.offset.reset=earliest

我错过了什么？

Answer 1

在深入研究我们的 AWS 实例后，我发现我们实际上并没有使用最新版本的 S3 接收器连接器。更新到最新版本并且有效。注意到一个潜在的错误：如果消息的 header 或键为空（并且您尝试输出该文件类型），则接收器连接器失败

S3 接收器连接器未在存储桶内创建密钥或头文件

S3 Sink Connector not creating key or header files within bucket

amazon-s3

sink