如何通过ssis包加载N条记录？
How to load N records through ssis package?
我必须通过 SSIS 包将三天的数据从源服务器加载到目标服务器。我算了一下这三天的总记录在31000左右。
在源代码 table 中，我正在使用以下 sql 查询：-
select id ,customer_id ,deleted_date ,lc_contact_date ,lc_lead_date ,lc_customer_date ,
is_blacklisted_date ,modified_date ,modified_by ,cd_mdm1 ,cd_mdm2 ,cd_mdm3 ,cd_mdm4 ,cd_mdm5 来自 customer_dates WHERE (modified_date > '2018-05-25 13:32:36' and modified_date <= CURRENT_DATE-1) ;
将数据发送到目的地table。
查询是正确的，它有大约 31000 个计数。但错误是在使用包时它没有将数据从源传输到目标。如果我使用 600 左右的限制，即下面的查询它的工作正常。
select id ,customer_id ,deleted_date ,lc_contact_date ,lc_lead_date ,lc_customer_date ,
is_blacklisted_date ,modified_date ,modified_by ,cd_mdm1 ,cd_mdm2 ,cd_mdm3 ,cd_mdm4 ,cd_mdm5 来自 customer_dates WHERE (modified_date > '2018-05-25 13:32:36' and modified_date <= CURRENT_DATE-1) limit 600;
任何人都可以帮我解决我必须嵌入到 ssis 包中的设置或任何东西吗？
我已经使用 SSIS 加载了数百万行 - 该工具没有行限制。
我最好的猜测是数据转换组件中的某些东西无法投射，这导致包出错。
确认
* 删除您现有的数据查看器（可选）
* 将派生列添加到现有数据转换组件的错误路径
* 在数据转换和派生列之间添加一个数据查看器。
现在，所有失败的行都将定向到您的查看器。此时，您可以确定行未能通过指定转换的原因，然后根据需要清理它们。
我必须通过 SSIS 包将三天的数据从源服务器加载到目标服务器。我算了一下这三天的总记录在31000左右。
在源代码 table 中，我正在使用以下 sql 查询：-
select id ,customer_id ,deleted_date ,lc_contact_date ,lc_lead_date ,lc_customer_date , is_blacklisted_date ,modified_date ,modified_by ,cd_mdm1 ,cd_mdm2 ,cd_mdm3 ,cd_mdm4 ,cd_mdm5 来自 customer_dates WHERE (modified_date > '2018-05-25 13:32:36' and modified_date <= CURRENT_DATE-1) ;
将数据发送到目的地table。
查询是正确的，它有大约 31000 个计数。但错误是在使用包时它没有将数据从源传输到目标。如果我使用 600 左右的限制，即下面的查询它的工作正常。 select id ,customer_id ,deleted_date ,lc_contact_date ,lc_lead_date ,lc_customer_date , is_blacklisted_date ,modified_date ,modified_by ,cd_mdm1 ,cd_mdm2 ,cd_mdm3 ,cd_mdm4 ,cd_mdm5 来自 customer_dates WHERE (modified_date > '2018-05-25 13:32:36' and modified_date <= CURRENT_DATE-1) limit 600;
任何人都可以帮我解决我必须嵌入到 ssis 包中的设置或任何东西吗？
我已经使用 SSIS 加载了数百万行 - 该工具没有行限制。
我最好的猜测是数据转换组件中的某些东西无法投射，这导致包出错。
确认 * 删除您现有的数据查看器（可选） * 将派生列添加到现有数据转换组件的错误路径 * 在数据转换和派生列之间添加一个数据查看器。
现在，所有失败的行都将定向到您的查看器。此时，您可以确定行未能通过指定转换的原因，然后根据需要清理它们。