从多个源 SSIS 中提取和加载数据
Extract and load data from multiple sources SSIS
我计划创建一个数据仓库并使用 SSIS 将数据从 Oracle 加载到 SQL 服务器。 DWH 的延迟时间为 5 分钟。
我需要每 5 分钟 运行 一个包,因为源上的 update_date_time 在上次更新和当前时间之间。我打算在目标数据库中创建一个新的 table 来记录提取为 运行 的时间,以便我可以比较 table.
的时间
你能告诉我如何使用 SSIS 实现这个吗?
如果我使用下面的包,它会更新新的 table 多次,但我只希望它在每次包 运行[= 时更新 table 一次10=]
我认为你在谈论增量负载。检查此 link:https://dwbi.org/etl/etl/53-methods-of-incremental-loading-in-data-warehouse
实施 Delta 后,只需在您需要的时候为您的包裹创建一个工作运行。
我就是这样做的。在 DFT 之前和之后,我包括 Execute SQl
转换(Execution_Init
和 Execution_complete
)以写入日志 table。其中有一个存储过程写入日志 table(我创建的)、包名称、开始时间(第一个)和结束时间(第二个)和其他详细信息。我想你也可以照着做。
我计划创建一个数据仓库并使用 SSIS 将数据从 Oracle 加载到 SQL 服务器。 DWH 的延迟时间为 5 分钟。
我需要每 5 分钟 运行 一个包,因为源上的 update_date_time 在上次更新和当前时间之间。我打算在目标数据库中创建一个新的 table 来记录提取为 运行 的时间,以便我可以比较 table.
的时间你能告诉我如何使用 SSIS 实现这个吗?
如果我使用下面的包,它会更新新的 table 多次,但我只希望它在每次包 运行[= 时更新 table 一次10=]
我认为你在谈论增量负载。检查此 link:https://dwbi.org/etl/etl/53-methods-of-incremental-loading-in-data-warehouse
实施 Delta 后,只需在您需要的时候为您的包裹创建一个工作运行。
我就是这样做的。在 DFT 之前和之后,我包括 Execute SQl
转换(Execution_Init
和 Execution_complete
)以写入日志 table。其中有一个存储过程写入日志 table(我创建的)、包名称、开始时间(第一个)和结束时间(第二个)和其他详细信息。我想你也可以照着做。