KafkaStreams:仅转发来自 Transformer 的更新密钥
KafkaStreams: forwarding only updated keys from Transformer
在我的 KafkaStreams 应用程序中,我有一个注册的本地商店(简单计数器),它在 transform
方法中更新。
在 punctuate
方法中,我基本上遍历 KV 存储并将所有数据推送到输出主题(因此即使值尚未更新)。
一个想法是存储每个键的更新时间戳,并仅转发自上次 punctuate
调用以来更新的记录。
但我认为应该有更方便的解决方案。
如何提高性能并仅转发更新的条目?
如 Matthias 的评论所述,目前不支持跟踪更新的记录。
您更新值中的时间戳(或创建包含您可以修改的时间戳的 "Value Wrapper" 对象)并检查自上次 punctuate 调用后是否发生更新的方法是一种有效方法。
-比尔
在我的 KafkaStreams 应用程序中,我有一个注册的本地商店(简单计数器),它在 transform
方法中更新。
在 punctuate
方法中,我基本上遍历 KV 存储并将所有数据推送到输出主题(因此即使值尚未更新)。
一个想法是存储每个键的更新时间戳,并仅转发自上次 punctuate
调用以来更新的记录。
但我认为应该有更方便的解决方案。
如何提高性能并仅转发更新的条目?
如 Matthias 的评论所述,目前不支持跟踪更新的记录。
您更新值中的时间戳(或创建包含您可以修改的时间戳的 "Value Wrapper" 对象)并检查自上次 punctuate 调用后是否发生更新的方法是一种有效方法。
-比尔