CoGroupByKey 如何与 discardingFiredPanes 一起使用?
How does CoGroupByKey work with discardingFiredPanes?
即,如果我有一个 GlobalWindow,其触发器在每个 pcollection 上的每个新元素上触发,设置为 discardingFiredPanes,CoGroupByKey 会在 rhs 引起火灾时以 lhs null 触发,还是以来自的最后一个值触发lhs?
给定这两个数据集
p1:
|id|x1|
|1 |10|
|1 |11|
|1 |12|
p2:
|id|x2|
|1 |20|
|1 |21|
|1 |22|
我应该期待:
|id| x1 | x2 |
|1 |[10]|null|
|1 |null|[20]|
|1 |[11]|null|
|1 |null|[21]|
|1 |[12]|null|
|1 |null|[22]|
或:
|id| x1 | x2 |
|1 |[10]|null|
|1 |[10]|[20]|
|1 |[11]|[20]|
|1 |[11]|[21]|
|1 |[12]|[21]|
|1 |[12]|[22]|
CoGroupByKey 两侧的元素分别由触发器系统独立处理,因此您将得到:
|id| x1 | x2 |
|1 |[10]|null|
|1 |null|[20]|
|1 |[11]|null|
|1 |null|[21]|
|1 |[12]|null|
|1 |null|[22]|
即,如果我有一个 GlobalWindow,其触发器在每个 pcollection 上的每个新元素上触发,设置为 discardingFiredPanes,CoGroupByKey 会在 rhs 引起火灾时以 lhs null 触发,还是以来自的最后一个值触发lhs?
给定这两个数据集
p1:
|id|x1|
|1 |10|
|1 |11|
|1 |12|
p2:
|id|x2|
|1 |20|
|1 |21|
|1 |22|
我应该期待:
|id| x1 | x2 |
|1 |[10]|null|
|1 |null|[20]|
|1 |[11]|null|
|1 |null|[21]|
|1 |[12]|null|
|1 |null|[22]|
或:
|id| x1 | x2 |
|1 |[10]|null|
|1 |[10]|[20]|
|1 |[11]|[20]|
|1 |[11]|[21]|
|1 |[12]|[21]|
|1 |[12]|[22]|
CoGroupByKey 两侧的元素分别由触发器系统独立处理,因此您将得到:
|id| x1 | x2 |
|1 |[10]|null|
|1 |null|[20]|
|1 |[11]|null|
|1 |null|[21]|
|1 |[12]|null|
|1 |null|[22]|