数据流中无界流的总聚合
Total aggregate over an unbounded stream in Dataflow
许多示例显示了对无界流 windows 的聚合,但假设我们需要获得整个流的每个键的计数,直到某个时间点。 (想想字数统计,它给出了到目前为止看到的所有内容的总数,而不是每个 window 的总数。)
看起来这可能是一个 Combine.perKey 和一个在某个时间间隔发出窗格的触发器。在这种情况下,window 本质上是全局的,我们在作业的整个生命周期中为相同的 window 发出窗格。这是 safe/reasonable,还是有另一种方法可以计算滚动总计?
推荐使用全局 window 和周期性触发器的解决方案。只要确保在触发器上使用累积模式而不是丢弃模式即可。 Triggers 页面应该有更多信息。
如果您需要其他帮助,请告诉我们。
许多示例显示了对无界流 windows 的聚合,但假设我们需要获得整个流的每个键的计数,直到某个时间点。 (想想字数统计,它给出了到目前为止看到的所有内容的总数,而不是每个 window 的总数。)
看起来这可能是一个 Combine.perKey 和一个在某个时间间隔发出窗格的触发器。在这种情况下,window 本质上是全局的,我们在作业的整个生命周期中为相同的 window 发出窗格。这是 safe/reasonable,还是有另一种方法可以计算滚动总计?
推荐使用全局 window 和周期性触发器的解决方案。只要确保在触发器上使用累积模式而不是丢弃模式即可。 Triggers 页面应该有更多信息。
如果您需要其他帮助,请告诉我们。