在作业完成 DataStage 后将作业的信息插入统计 table

Question

目前，我有多个作业将数据从源加载到目标（Oracle Connector -> Transformer Stage -> Oracle Connector）。我想把那些工作的信息统计成一个 table 来跟踪每天的进度。

我的想法是在作业完成后，它会自动为每个作业插入 1 行到我的统计信息 table。例如，Job_1（加载到Target_1table）和Job_2（加载到Target_2table）完成后，每个作业将插入1排到我的统计数据 table 中，它将如下所示：

TABLE_NAME   DATE_1   DATE_2    TIME_STAMP            TOTAL_RECORD
----------   ------   -------   -------------------   ------------
Target_1     041120   2020309   2020-11-04 11:09:00   500
Target_2     041120   2020309   2020-11-04 11:10:00   1000

是否可以用例行程序或其他方式来做？

Answer 1

这样的负载统计数据非常有用，有多种方法可以实现。主要问题是如何获取总记录信息以及如何定义这些信息。这是从源中读取的行数和写入目标中的行数 - 仅当您的 Transformer 中没有任何过滤（并且没有拒绝）时，这些行应该相同。

你可以从

link 信息来自 DSGetLinkInfo
通过运行对目标的计数 table
或者 - 我的建议 - 通过使用 DSODB

查看知识中心的第 Monitoring job and job runs by using the Operations Console 部分或者如果您想创建自己的 table Extracting Monitor data from the operations database

在作业完成 DataStage 后将作业的信息插入统计 table

Insert job's information to statistic table after job finished DataStage

datastage