没有窗口的 Flink 中的乱序元组
Out of order tuples in Flink without windowing
即使在 不使用窗口运算符的情况下,Flink 是否也能处理乱序元组?
例如:
withTimestampsAndWatermarks
.keyBy(...)
.map(...) // some stateful function
.addSink(...);
map
会等待处理元素直到收到正确的水印,还是会不等待就处理元素?
问题是 map
保存的分区状态可能会受到元组乱序处理的影响。
提前致谢
简短的回答是否。地图运算符根本不适用于水印。
您将获得与输入流中相同顺序的元素。
如需进一步参考,请检查 StreamMap
运算符的实现,您可以在其中看到水印元素刚刚转发到输出。
即使在 不使用窗口运算符的情况下,Flink 是否也能处理乱序元组?
例如:
withTimestampsAndWatermarks
.keyBy(...)
.map(...) // some stateful function
.addSink(...);
map
会等待处理元素直到收到正确的水印,还是会不等待就处理元素?
问题是 map
保存的分区状态可能会受到元组乱序处理的影响。
提前致谢
简短的回答是否。地图运算符根本不适用于水印。 您将获得与输入流中相同顺序的元素。
如需进一步参考,请检查 StreamMap
运算符的实现,您可以在其中看到水印元素刚刚转发到输出。