Talend Open Studio 是否有类似于 SSIS 的序列容器？

Question

使用 Talend Open Studio...

• 第 1 步 - 我使用 tSystem 组件
在 PostgreSQL 数据库中执行一组 SQL 语句
• 第 2 步 - 我将 10 个 PostgreSQL table 复制到 SQL 服务器数据库

由于没有相互依赖关系，我想同时执行所有十个 table 复制操作。如果我使用的是 SSIS，这将是微不足道的：将十个副本 table 任务放在一个序列容器中，并使用一个优先约束来 link 执行 SQL 脚本到序列容器。

Talend Open Studio 有类似于 SSIS 的序列容器吗？

在 Talend Open Studio 中，我知道我可以使用 tSystem 组件中的 OnSubJobOk 触发器并创建与十个副本 table 任务中的每一个的连接...但是如果我可以通过一个连接来完成此操作对于像 SSIS 序列容器之类的东西，我更愿意这样做，因为我很懒惰……我的意思是高效！

这里的关键是我想并行执行所有十个副本 table 任务，以减少总运行时间。

感谢您的见解。

Talend Open Studio for Data Integration 6.3.2

Answer 1

您将有两个选项需要注意。会一一去的。

t并行化

tParallelize 组件可帮助您并行化和同步主作业中众多子作业的执行。因此，在您的情况下，它将同时执行并行子作业中的所有十个复制 table 任务，并在主作业中同步执行。这里唯一需要注意的是，此功能仅适用于订阅版本。您可以阅读更多相关信息 here.

多线程执行

此功能在“作业”视图的“额外”选项卡上可用。设置 Talend 作业后，您需要 select 多线程执行复选框以激活多线程执行功能，这将 运行 您的逻辑并行。对于 10 个不同的 Sql 输出，您将建立 10 个数据库连接并写入 10 个不同的连接。更多信息 here.

这里要记住的一件事就像 Talend 中的 SSIS（对于 SSIS 它是处理器的数量 + 2）一样，你不能并行化超过你的处理器数量，否则它会等待处理器并且会成为处理器的开销。