运行 同一个 Oozie 作业并行执行多次,每个作业的参数值不同

Run same Oozie job multiple times in parallel, with different values in argument for each job

我想要 运行 一个程序,将给定的输入文件转换为另一种格式。 当文件上传到输入 table 时,oozie 调度程序应该开始作业。

对于单个文件,它工作正常;如果输入 table 同时有多个条目,则相同数量的作业应以不同的 inputPath 参数并行启动。 Oozie 工作流将 "InputPath" 和 "OutputPath" 作为参数。

我该怎么做?

您想根据事件触发作业。 Oozie 不是为此而设计的,它只是根据时间 table 运行 计划的 作业(可以选择延迟启动,直到特定文件到达)。

考虑其他选择,例如AirFlow 或 Luigi。