如何使用 Kafka Streams 运行 多个实例进行主题级别 sorting/counting
How to do topic level sorting/counting with Kafka Streams running with multiple instances
我是 Kafka Streams 的新手,正在寻找一种跨分区排序流数据的方法。我的销售数据主题有 10 个分区,并根据已售出的商品进行分区。例如,杂货进入一个分区,饮料进入另一个分区。要求是每 15 分钟找出最畅销的 5 件商品。现在,如果我 运行 10 个节点上的 10 个实例,每个分区将由一个专门的消费者提供服务。在这种情况下,我们如何找到所有分区中销量最高的 5 件商品?
您将需要使用单分区主题。
Kafka Streams 继承了代理和消费者的缩放模型,因此只有当您有一个单分区输入主题时,您才能处理 所有 数据。
对照:https://docs.confluent.io/current/streams/architecture.html#parallelism-model
我是 Kafka Streams 的新手,正在寻找一种跨分区排序流数据的方法。我的销售数据主题有 10 个分区,并根据已售出的商品进行分区。例如,杂货进入一个分区,饮料进入另一个分区。要求是每 15 分钟找出最畅销的 5 件商品。现在,如果我 运行 10 个节点上的 10 个实例,每个分区将由一个专门的消费者提供服务。在这种情况下,我们如何找到所有分区中销量最高的 5 件商品?
您将需要使用单分区主题。
Kafka Streams 继承了代理和消费者的缩放模型,因此只有当您有一个单分区输入主题时,您才能处理 所有 数据。
对照:https://docs.confluent.io/current/streams/architecture.html#parallelism-model