Kettle Table 输入线程

Question

当我 运行 在具有 Table 输入的 Kettle 进行转换时，如果我访问数据库的进程列表，我会看到多个进程 运行 [=我的 table 输入步骤的 15=]。

所以我的问题是，是 kettle 使用线程来 运行 这个步骤还是别的什么？

Answer 1

水壶是 Dataflow programming language。这意味着转换的每个步骤都在自己的线程上运行，独立于其他线程。

每个线程等待来自输入步骤的数据，处理它们并在输出步骤中传递它们。数据以大约 1000 行为一组进行分组以优化速度。

这种同时处理所有步骤的灵活性有很多优点，并解释了一些奇怪的行为，例如执行历史记录中的步骤数 table（在底部）经常1000 的倍数，以及自动锁定问题：当您输入一个 table，您也在输出 table 中截断，然后 Kettle 进入一个自动锁定，每个步骤都在等待另一个结束。