Flink:Window 评价
Flink: Window evaluation
我正在使用 window(SlidingEventTimeWindows.of(Time.seconds(120), Time.seconds(1)))
滑动 window 进行 real_time 数据流。我还使用接口 AssignerWithPeriodicWatermarks
来提取时间戳并分配水印。我正在 windowed 流上应用自定义方法 apply()
。
在这种情况下,什么会触发 window 评估(apply()
执行),是每 1 秒后发生一次。等于slide of window 还是遇到流水印后?
A window 在其结束时间戳小于当前水印时被评估。当 window 运算符收到新水印时,它会检查所有活动的 windows 并最终确定结束时间在新水印之前的所有 windows。
如果您有一个滑动 1 秒的 window 和大约每五秒到达一次的水印,每个水印将触发五个 windows 的评估。您可以将水印视为设置应用程序时钟的机制。如果运算符不知道时钟提前了,它就不会执行计算。
我正在使用 window(SlidingEventTimeWindows.of(Time.seconds(120), Time.seconds(1)))
滑动 window 进行 real_time 数据流。我还使用接口 AssignerWithPeriodicWatermarks
来提取时间戳并分配水印。我正在 windowed 流上应用自定义方法 apply()
。
在这种情况下,什么会触发 window 评估(apply()
执行),是每 1 秒后发生一次。等于slide of window 还是遇到流水印后?
A window 在其结束时间戳小于当前水印时被评估。当 window 运算符收到新水印时,它会检查所有活动的 windows 并最终确定结束时间在新水印之前的所有 windows。
如果您有一个滑动 1 秒的 window 和大约每五秒到达一次的水印,每个水印将触发五个 windows 的评估。您可以将水印视为设置应用程序时钟的机制。如果运算符不知道时钟提前了,它就不会执行计算。