如何在 ElasticSearch Sink Connector 中过滤数据？

Question

我正在使用来自 confluent 审计日志集群的数据，并使用弹性搜索接收器连接器为弹性搜索创建索引。我正在获取内部集群所有环境的数据。我想在弹性接收器连接器级别应用过滤器，以便我可以根据我在连接器级别提供的集群 ID 过滤我的数据。

有人知道如何在弹性搜索接收器连接器上应用过滤器吗？

谢谢！

Answer 1

最后，我找到了我的问题的答案如下。您可以使用 transforms 过滤您的数据并根据您的数据应用正则表达式。

"transforms": "dataFilterByClusterId",
"transforms.dataFilterByClusterId.type": "io.confluent.connect.transforms.Filter$Value",
"transforms.dataFilterByClusterId.filter.condition": "$[?(@.subject =~ /.*YourClusterID/)]",
"transforms.dataFilterByClusterId.filter.type": "include"

如何在 ElasticSearch Sink Connector 中过滤数据？

How can I filter data in ElasticSearch Sink Connector?

elasticsearch

confluent-cloud