在 apache 光束中累积 FiredPanes

Question

如果我在 apache beam 代码中使用 accumulatingFiredPanes，触发的窗格会累积多长时间？它们是否在 window 结束时被丢弃？使用 accumulatingFiredPanes 对存储有何影响？

Answer 1

这是完全正确的——window 的内容被累积（并且 运行 的内容在每个窗格中释放）直到 window 完成。存储影响取决于 window 的生命周期（以及数据传入的速率），例如如果您有非常大的 windows（几天或几周），那可能会很可观。全局 window 永远不会完成。

请注意，如果使用组合器，则只会存储组合值，而不是单独存储所有元素。