更改 window size\ KStream 的滑动windowed 应用程序的跳跃大小
Changing the window size\ hop size of KStream's sliding-windowed application
我有一个运行了一段时间的 KStream 应用程序,它使用滑动 window 功能创建聚合(1 小时 window,跳跃 10 分钟)。
我想知道如果我改变跃点大小会发生什么...
- 我可以只用 window 跃点更改来部署它并且 KStream 会知道如何处理它吗?
- 它会从它当前指向的偏移量开始聚合吗? (那就意味着我将有一个小时左右的局部图片-根据window尺寸)
- 更改日志主题中的数据会发生什么变化?它会留在那里直到配置的保留时间结束吗?
对于这种特殊情况,您应该能够重新部署该应用程序。现有数据不应受到影响,应用程序应从您中断的地方恢复。当然,正如您所指出的,如果它们可能只包含部分数据,您会完全错过一些过去的 windows。
更改日志主题中的数据也不应该受到影响,并且适用常规保留时间。
我有一个运行了一段时间的 KStream 应用程序,它使用滑动 window 功能创建聚合(1 小时 window,跳跃 10 分钟)。
我想知道如果我改变跃点大小会发生什么...
- 我可以只用 window 跃点更改来部署它并且 KStream 会知道如何处理它吗?
- 它会从它当前指向的偏移量开始聚合吗? (那就意味着我将有一个小时左右的局部图片-根据window尺寸)
- 更改日志主题中的数据会发生什么变化?它会留在那里直到配置的保留时间结束吗?
对于这种特殊情况,您应该能够重新部署该应用程序。现有数据不应受到影响,应用程序应从您中断的地方恢复。当然,正如您所指出的,如果它们可能只包含部分数据,您会完全错过一些过去的 windows。
更改日志主题中的数据也不应该受到影响,并且适用常规保留时间。