当其中一个并行作业失败时 DataStage 回滚数据
DataStage rollback data when one of the parallel jobs fail
目前我正在构建一个涉及多个并行作业的作业。每个并行作业将数据加载到数据库中。如果中途失败,则之前的并行作业已经插入到数据库中。如果中途失败,有没有办法回滚所有并行作业数据?谢谢。
不,这不是 DataStage 或 ETL 角度的概念。
一些想法:
- 撤消所有操作会导致您必须重新全部重做,并且已经花费在滚动数据上的所有时间都将丢失,此外您将花费大量时间来撤消它们。
- 如果出现问题,概念将再次从 more less 开始,然后重新尝试获取数据。DataStage Sequences 通过设置检查点和可重新启动的序列来支持这一点。
- 由于您通常使用 ETL 工具和 Datastages 的管道概念处理大量数据,因此总体作业事务处理的选项非常有限。它通常限于 "Load" 部分,您可以在即 2000 行之后提交(为了不导致数据库中的日志问题)
目前我正在构建一个涉及多个并行作业的作业。每个并行作业将数据加载到数据库中。如果中途失败,则之前的并行作业已经插入到数据库中。如果中途失败,有没有办法回滚所有并行作业数据?谢谢。
不,这不是 DataStage 或 ETL 角度的概念。
一些想法:
- 撤消所有操作会导致您必须重新全部重做,并且已经花费在滚动数据上的所有时间都将丢失,此外您将花费大量时间来撤消它们。
- 如果出现问题,概念将再次从 more less 开始,然后重新尝试获取数据。DataStage Sequences 通过设置检查点和可重新启动的序列来支持这一点。
- 由于您通常使用 ETL 工具和 Datastages 的管道概念处理大量数据,因此总体作业事务处理的选项非常有限。它通常限于 "Load" 部分,您可以在即 2000 行之后提交(为了不导致数据库中的日志问题)