Kafka KStream 到 KStream 加入 |重启性能

Question

我计划在 window（~1 周）内加入两个主题作为 KStreams。假设这个window中会积累上亿条记录，加入消费者需要多长时间才能重启？我问这个是因为我无法找到有关 window 中有多少记录存储在消费者缓存中的信息。

Answer 1

默认情况下，缓冲在window中的数据存储在RocksDB，即本地磁盘中。因此，在重新启动时（在同一台机器上）不需要重新加载任何内容，因为数据已经可用。

如果您在另一台机器上重新启动，则需要从 Kafka 主题（备份存储以保证容错）重新读取存储的全部内容。这需要多长时间取决于许多因素，而且很难估计。您可以注册一个 "restore callback" 来监视还原过程。这应该会给你一些方法来 运行 一些实验来了解可能需要多长时间。