如何 rename/replace Kafka-connect SMT 结构中的字段?
How to rename/replace a field within a struct in Kafka-connect SMT?
description for replaceField SMT 说它可以 Filter or rename fields within a Struct or Map.
但是我找不到任何用于替换或重命名结构中的字段的工作示例。
我使用 Kafka Connect Elasticsearch Sink 将主题中的数据写入 ElasticSearch。为简单起见,假设数据格式如下所示。
{
'ID':22,
'ITEM': 'Shampoo'
'USER':{
'NAME': 'jon',
'AGE':25
}
}
因此,如果我尝试 rename/replace USER.NAME
或 USER.AGE
,我将如何在连接器中配置它? (我已经在 ksqldb 中编写了所有内容)。这是我当前的配置,我将 ITEM
重命名为 product
并将 ID
重命名为 id
CREATE SINK CONNECTOR ELASTIC_SINK WITH (
'connector.class' = 'io.confluent.connect.elasticsearch.ElasticsearchSinkConnector',
'connection.url' = 'http://host.docker.internal:9200',
'type.name' = '_doc',
'topics' = 'ELASTIC_TOPIC',
'key.ignore' = 'false',
'schema.ignore' = 'true',
'transforms' = 'RenameField',
'transforms.RenameField.type' = 'org.apache.kafka.connect.transforms.ReplaceField$Value',
'transforms.RenameField.renames' = 'ITEM:product,ID:id',
);
看看现有的SO问答:
您可以提供要重命名的字段的路径,各部分之间用句点分隔。
CREATE SINK CONNECTOR ELASTIC_SINK WITH (
'connector.class' = 'io.confluent.connect.elasticsearch.ElasticsearchSinkConnector',
'connection.url' = 'http://host.docker.internal:9200',
'type.name' = '_doc',
'topics' = 'ELASTIC_TOPIC',
'key.ignore' = 'false',
'schema.ignore' = 'true',
'transforms' = 'RenameField',
'transforms.RenameField.type' = 'org.apache.kafka.connect.transforms.ReplaceField$Value',
'transforms.RenameField.renames' = 'USER.NAME:name,ITEM:product,ID:id',
);
description for replaceField SMT 说它可以 Filter or rename fields within a Struct or Map.
但是我找不到任何用于替换或重命名结构中的字段的工作示例。
我使用 Kafka Connect Elasticsearch Sink 将主题中的数据写入 ElasticSearch。为简单起见,假设数据格式如下所示。
{
'ID':22,
'ITEM': 'Shampoo'
'USER':{
'NAME': 'jon',
'AGE':25
}
}
因此,如果我尝试 rename/replace USER.NAME
或 USER.AGE
,我将如何在连接器中配置它? (我已经在 ksqldb 中编写了所有内容)。这是我当前的配置,我将 ITEM
重命名为 product
并将 ID
重命名为 id
CREATE SINK CONNECTOR ELASTIC_SINK WITH (
'connector.class' = 'io.confluent.connect.elasticsearch.ElasticsearchSinkConnector',
'connection.url' = 'http://host.docker.internal:9200',
'type.name' = '_doc',
'topics' = 'ELASTIC_TOPIC',
'key.ignore' = 'false',
'schema.ignore' = 'true',
'transforms' = 'RenameField',
'transforms.RenameField.type' = 'org.apache.kafka.connect.transforms.ReplaceField$Value',
'transforms.RenameField.renames' = 'ITEM:product,ID:id',
);
看看现有的SO问答:
您可以提供要重命名的字段的路径,各部分之间用句点分隔。
CREATE SINK CONNECTOR ELASTIC_SINK WITH (
'connector.class' = 'io.confluent.connect.elasticsearch.ElasticsearchSinkConnector',
'connection.url' = 'http://host.docker.internal:9200',
'type.name' = '_doc',
'topics' = 'ELASTIC_TOPIC',
'key.ignore' = 'false',
'schema.ignore' = 'true',
'transforms' = 'RenameField',
'transforms.RenameField.type' = 'org.apache.kafka.connect.transforms.ReplaceField$Value',
'transforms.RenameField.renames' = 'USER.NAME:name,ITEM:product,ID:id',
);