SSIS 数据验证

Question

我有一个包含大约 125 列的 json 文件，我需要使用 SSIS 包将它加载到数据库 Table.I，并在转储所有 JSON 文件之后内容到 DB DUMP Table，我需要验证数据并仅加载对 MASTER 有效的数据 Table 并将其余数据发送到失败 table.The 失败 Table 有 250 列，每个列都有错误 column.If 第一列验证失败，我需要将错误消息写入相应的错误列并继续验证第二列...SSIS 中是否有一些有用的实用程序达到要求。

我试过使用条件拆分，但似乎不符合要求.. 谢谢， 维杰

Answer 1

我同意 Alleman 关于通过存储过程完成这项工作的建议。在实施方面，您可以采用多种方式。我在这里列出一种方式

在数据库中，您可以创建大约 10 个存储过程，如下所示

• dbo.usp_ValidateData_Columns1_To_Columns25
• dbo.usp_ValidateData_Columns26_To_Columns50
• .....
• .....
• dbo.usp_ValidateData_Columns226_To_Columns250

在每个过程中，您都可以跨列批量验证数据。如果验证失败，您可以插入相应的错误列。

完成后，您就可以将上述所有过程作为 SSIS 包的一部分并行调用。

Post 你还需要一个 DFT，来挑选所有适合转移到 MASTER 的记录。

基本上您是在模块化整个设置。