Beam window 按大小(字节数)或计数

Beam window by size (number of bytes) or count

我需要一种方法来触发 Window,基于达到指定限制的计数或 Window 中的数据达到指定大小(字节数)。我确实找到了基于计数的数据驱动触发器,但不是基于字节数,如果存在的话,可以从两个中创建一个复合触发器。 有办法实现吗?

无法使用触发器实现此目的。

最好的选择是在 ParDo 中使用状态,这将使您能够以持久的方式跟踪您想要的任何内容。状态的范围为 Window,因此您可以缓冲该键和 window 状态中的元素,直到达到您的阈值。

有关详细信息,请参阅 https://beam.apache.org/documentation/programming-guide/#state-and-timers