如何在 SSIS 中将并发 ETL 任务扩展到任意数量?
How to scale concurrent ETL tasks up to an arbitrary number in SSIS?
问题(见下文)
如何在 SSIS 中将单个任务(例如下载和解析)扩展到任意数量的并发执行(例如 500)?
设置说明
我们的设置是我们有一个要访问的提要 url 列表,获取所有项目并将它们插入数据库。
目前 php 脚本同时下载它们,按顺序解析它们并将它们转储到 csv 中,稍后使用加载数据 infile 将其插入到数据库中。 ETL 包可以以一种或另一种方式处理上述所有步骤。
这由包 属性 控制:MaxConcurrentExecutables。默认值为 -1,表示机器核心 x 2,通常运行良好。
您还可以通过在每个数据流任务上设置 EngineThreads 来影响这一点。
这里有一个很好的总结:http://blogs.msdn.com/b/sqlperf/archive/2007/05/11/implement-parallel-execution-in-ssis.aspx
问题(见下文)
如何在 SSIS 中将单个任务(例如下载和解析)扩展到任意数量的并发执行(例如 500)?
设置说明
我们的设置是我们有一个要访问的提要 url 列表,获取所有项目并将它们插入数据库。
目前 php 脚本同时下载它们,按顺序解析它们并将它们转储到 csv 中,稍后使用加载数据 infile 将其插入到数据库中。 ETL 包可以以一种或另一种方式处理上述所有步骤。
这由包 属性 控制:MaxConcurrentExecutables。默认值为 -1,表示机器核心 x 2,通常运行良好。
您还可以通过在每个数据流任务上设置 EngineThreads 来影响这一点。
这里有一个很好的总结:http://blogs.msdn.com/b/sqlperf/archive/2007/05/11/implement-parallel-execution-in-ssis.aspx