运行 单个 JVM 上的多个 Kettle 转换

Running multiple Kettle transformation on single JVM

我们想用pan.sh执行多个kettle改造。在探索脚本后,我发现它在内部调用在 PDI 中运行的 spoon.sh 脚本。现在的问题是每次新的转换开始时,它都会为其执行创建一个单独的 JVM(通过 .bat 文件调用),但是我想将它们分组以使用单个 JVM 来克服多个 JVM 对批处理的内存限制服务器。

有人可以指导我如何实现这一目标或与我分享 documentation/resources。

感谢您的出色工作。

使用点菜。这正是它的用途。您可以启动一个服务器(如果您愿意,可以在本地机器上启动)然后将您的作业提交给它。一个 JVM,一个堆,共享资源。

这样做的好处是可扩展性,因此当您的机器变得太忙时,只需添加另一个机器,同时使用 carte 并开始将一些作业发送到另一台服务器。

这里有一个旧的但仍然是最新的博客:

http://diethardsteiner.blogspot.co.uk/2011/01/pentaho-data-integration-remote.html

以及 pentaho 网站上的 doco。

启动服务器非常简单:

carte.sh <hostname> <port>

还有一个状态页面,您可以使用它来查询您的点菜服务器,所以如果您有一个服务器集群,您可以选择一个安静的服务器来发送您的工作。