如何在 jvms 之间有效地分发 spring 批处理作业?
How do you distribute a spring batch job effectively across jvms?
在作业中,我从文件中读取内容并将某些内容存储在数据库中。
我想在不同的进程中有许多 运行 个批处理作业的 jar,并将文件中的数据分区到 运行 个实例中。
我还希望能够继续添加要处理的文件并分发从中读取的文件。
我读过 spring xd 可能很合适,但找不到好的教程。
是的,我也是 spring batch 和 xd 的菜鸟。
首先要了解的是如何远程分区批处理作业。见 batch documentation for Spring Batch Integration and its support for remote partitioning, based on basic batch partitioning.
Spring XD 为单步分区工作负载提供开箱即用的支持。
您只需导入 singlestep-partition-support.xml
并提供分区程序和 tasklet bean。见 XD Documentation for an example.
在作业中,我从文件中读取内容并将某些内容存储在数据库中。 我想在不同的进程中有许多 运行 个批处理作业的 jar,并将文件中的数据分区到 运行 个实例中。
我还希望能够继续添加要处理的文件并分发从中读取的文件。
我读过 spring xd 可能很合适,但找不到好的教程。
是的,我也是 spring batch 和 xd 的菜鸟。
首先要了解的是如何远程分区批处理作业。见 batch documentation for Spring Batch Integration and its support for remote partitioning, based on basic batch partitioning.
Spring XD 为单步分区工作负载提供开箱即用的支持。
您只需导入 singlestep-partition-support.xml
并提供分区程序和 tasklet bean。见 XD Documentation for an example.