Kafka中如何过滤数据？

Question

我的理解是我可以使用流过滤数据并将其放入特定主题。

问题： 生产者发送带有字段国家的数据。然后流处理过滤这些数据并按国家代码放入主题。

因此订阅特定国家（代码）的消费者将收到消息。

问题是它需要很多国家的主题。在功能中，我需要对国家/地区执行相同的操作。

如何在Kafka中组织和过滤数据？

Answer 1

您在这里没有几个选择:

Kafka Streaming ：使用kafka streaming，您可以根据需要过滤数据并将其写入新主题。消费者可以消费来自这些新主题的消息。

在消费者端过滤数据：您使用数据并在消费者端根据要求的标准过滤数据。

Use Separate partitions for separate country code : 你根据国家代码的个数来定义这个主题的总分区，并以国家代码为键。现在让您的消费者直接访问特定于消费国家/地区的消息的正确分区。