Kafka Streams DSL 折叠分层数据

Question

使用 Kafka Streams DSL，这就是我想要做的：

输入消息 Serdes：键和值的 Avro 键：用字段 L1、L2、L3 记录值：记录值 V（在本例中为 int）

我想要做的是以生成的流具有正确的总和值的方式折叠此层次结构。例如，

Input:
L1   L2   L3  V
a1   b1   c1  v1
a1   b1   c2  v2
a1   b2   c1  v3
a1   b2   c2  v4
a2   b1   c1  v5



Output 1: (Data wanted at L1, L2)
L1   L2   V
a1   b1   v1 + v2
a1   b2   v3 + v4
a2   b1   v5

Output 2 (Data wanted at L1)
L1    V
a1    v1 + v2 + v3 + v4
a2    v2

Streams DSL 是否允许这样做？请注意，所有输出的密钥类型都发生了变化，我找不到执行这些密钥更新 + 聚合的方法（因为密钥更新本质上应该合并多个值）。虽然可能有一些方法可以使用处理器 API 或基本的 Kafka 消费者来实现这一点，但想要检查如何在 DSL 中执行此操作（如果可能的话）。

Answer 1

您应该可以使用 selectKey():

KStream input = builder.stream(...);
input.selectKey(/*create a new output record with only 2 attributes L1 and L2*/)
     .groupyByKey()
     .aggregate(...);

input.selectKey(/*create a new output record with only 1 attribute L1*/)
     .groupByKey()
     .aggregate(...)

Kafka Streams DSL 折叠分层数据

Kafka Streams DSL folding hierarchical data

apache-kafka

apache-kafka-streams