KStream.through() 未创建中间主题,并影响拓扑中的其他处理器节点
KStream.through() not creating intermediate topic, and impacting other processor nodes in topology
我正在试用本书第 4 章中的示例 KafkaStreams 代码 - Kafka Streams in Action。我几乎复制了 github 中的代码 - https://github.com/bbejeck/kafka-streams-in-action/blob/master/src/main/java/bbejeck/chapter_4/ZMartKafkaStreamsAddStateApp.java 这是一个使用 StateStore 的示例。当我按原样 运行 代码时,没有数据流经拓扑。我验证了正在生成模拟数据,因为我可以看到输入主题中的偏移量 - transactions 上升。但是,输出主题中没有任何内容,也没有任何内容打印到控制台。
然而,当我注释行 81-88 (https://github.com/bbejeck/kafka-streams-in-action/blob/master/src/main/java/bbejeck/chapter_4/ZMartKafkaStreamsAddStateApp.java#L81-L88) 时,基本上避免创建 "through()" 处理器节点,代码有效。我看到正在为 "patterns" 主题生成数据,并在控制台中生成输出。
我正在使用 Kafka 代理和客户端版本 2.4。将不胜感激调试问题的任何帮助或指示。
谢谢,
艾哈迈德
有据可查,您需要在启动应用程序之前手动创建通过 through()
使用的中间主题。中间主题,类似于输入和输出主题,不由 Kafka Streams 管理,但用户有责任管理它们。
对照:https://docs.confluent.io/current/streams/developer-guide/manage-topics.html
顺便说一句:正在添加一个新的 repartition()
运算符,允许您通过将由 Kafka Streams 管理的主题重新分区(参见 https://cwiki.apache.org/confluence/display/KAFKA/KIP-221%3A+Enhance+DSL+with+Connecting+Topic+Creation+and+Repartition+Hint)
我正在试用本书第 4 章中的示例 KafkaStreams 代码 - Kafka Streams in Action。我几乎复制了 github 中的代码 - https://github.com/bbejeck/kafka-streams-in-action/blob/master/src/main/java/bbejeck/chapter_4/ZMartKafkaStreamsAddStateApp.java 这是一个使用 StateStore 的示例。当我按原样 运行 代码时,没有数据流经拓扑。我验证了正在生成模拟数据,因为我可以看到输入主题中的偏移量 - transactions 上升。但是,输出主题中没有任何内容,也没有任何内容打印到控制台。
然而,当我注释行 81-88 (https://github.com/bbejeck/kafka-streams-in-action/blob/master/src/main/java/bbejeck/chapter_4/ZMartKafkaStreamsAddStateApp.java#L81-L88) 时,基本上避免创建 "through()" 处理器节点,代码有效。我看到正在为 "patterns" 主题生成数据,并在控制台中生成输出。
我正在使用 Kafka 代理和客户端版本 2.4。将不胜感激调试问题的任何帮助或指示。
谢谢, 艾哈迈德
有据可查,您需要在启动应用程序之前手动创建通过 through()
使用的中间主题。中间主题,类似于输入和输出主题,不由 Kafka Streams 管理,但用户有责任管理它们。
对照:https://docs.confluent.io/current/streams/developer-guide/manage-topics.html
顺便说一句:正在添加一个新的 repartition()
运算符,允许您通过将由 Kafka Streams 管理的主题重新分区(参见 https://cwiki.apache.org/confluence/display/KAFKA/KIP-221%3A+Enhance+DSL+with+Connecting+Topic+Creation+and+Repartition+Hint)