Datastage增量计费

Question

• 我们想在 DataStage 中执行增量加载（在并行环境中）。仅准确加载前一次加载和新加载之间的增量（用于创建、更新、删除 DWH 中的记录）。

• 我们希望存储上次加载期间恢复的最后一个密钥，以便能够在新加载时从下一条记录重新启动请求。

• 我们已经成功地使用参数在运行时过滤了SQL负载查询。不幸的是，我们还没有找到检索最后一个键 (max (Key) - Aggregator?) 并将其存储在该参数中的可能性。

• 使用哪个阶段，在同一个并行作业中输出单个值，然后存储到参数？

有什么想法吗？

感谢您的帮助。

Answer 1

考虑从目标中获取最大值 - 它很可能是一个数据库，而 max() 很容易做到。

查看我的 post 关于

Answer 2

谢谢迈克尔，

我发现 Head 阶段在同一作业中获得 max(LastRowId)，其中“所有行（跳过后）= False），并且”行数（每个分区）=1。而我 运行 顺序模式下的作业...

效果很好。