运行 单个 JVM 上的多个 Kettle 转换

Question

我们想用pan.sh执行多个kettle改造。在探索脚本后，我发现它在内部调用在 PDI 中运行的 spoon.sh 脚本。现在的问题是每次新的转换开始时，它都会为其执行创建一个单独的 JVM（通过 .bat 文件调用），但是我想将它们分组以使用单个 JVM 来克服多个 JVM 对批处理的内存限制服务器。

有人可以指导我如何实现这一目标或与我分享 documentation/resources。

感谢您的出色工作。

Answer 1

使用点菜。这正是它的用途。您可以启动一个服务器（如果您愿意，可以在本地机器上启动）然后将您的作业提交给它。一个 JVM，一个堆，共享资源。

这样做的好处是可扩展性，因此当您的机器变得太忙时，只需添加另一个机器，同时使用 carte 并开始将一些作业发送到另一台服务器。

这里有一个旧的但仍然是最新的博客：

http://diethardsteiner.blogspot.co.uk/2011/01/pentaho-data-integration-remote.html

以及 pentaho 网站上的 doco。

启动服务器非常简单：

carte.sh <hostname> <port>

还有一个状态页面，您可以使用它来查询您的点菜服务器，所以如果您有一个服务器集群，您可以选择一个安静的服务器来发送您的工作。