Kafka 流是否可以将输出写入两个不同的主题？

Question

我需要一个流来对主题 A 中的值进行分组，将分组后的值发送到主题 B，然后将这些分组后的值在滚动时间内 window 的总和发送到主题 C。 有可能在卡夫卡做到这一点吗？或者一个流只能从一个主题读取和写入？

Answer 1

是的。例如，您可以拆分输入流并写入不同的主题：

KStream stream = ...
KStream[] splitStream = stream.branch(...);

splitStream[0].to("topic-1");
splitStream[1].to("topic-2");

您还可以通过 to(TopicNameExtractor) 使用更动态的方法。

您还可以 "broadcast" 一个流来应用不同的逻辑。重复使用相同的 KStream 变量可确保每条记录在逻辑上被复制并通过多个并行下游操作进行处理：

KStream stream = ...

KStream filterdStream = stream.filter();
KTable count = stream.groupBy().count();