Ab Initio 图:使用 Replicate 按键行为进行分区
Ab Initio graph : partioning by key behavior with Replicate
我在问自己一个关于
假设我有一个流 F,它被复制了 X 次。
然后所有复制的流都在同一个键上加入,但每次都使用不同的数据集。
我希望连接 运行 处于平行布局中。对于这种特殊情况,我是否需要使用 X 次 "Partition by key" 组件,或者我是否可以在复制的输入中只放置一个(而不是每个复制输出 1 个)?
TLDR:
这是图表吗
https://ibb.co/hHmk5e
相当于
https://ibb.co/i2NNJz
假设所有连接都发生在同一个键上
谢谢,
使用按键复制到多个分区。请注意检查点,如果在复制之后有 3 个检查点,请考虑将其删除并在复制之前放置一个检查点。
我在问自己一个关于 假设我有一个流 F,它被复制了 X 次。 然后所有复制的流都在同一个键上加入,但每次都使用不同的数据集。
我希望连接 运行 处于平行布局中。对于这种特殊情况,我是否需要使用 X 次 "Partition by key" 组件,或者我是否可以在复制的输入中只放置一个(而不是每个复制输出 1 个)?
TLDR: 这是图表吗 https://ibb.co/hHmk5e 相当于 https://ibb.co/i2NNJz 假设所有连接都发生在同一个键上
谢谢,
使用按键复制到多个分区。请注意检查点,如果在复制之后有 3 个检查点,请考虑将其删除并在复制之前放置一个检查点。