以两种不同的频率安排 Oozie 工作流

Schedule an Oozie workflow at two different frequencies

我有一个增量处理数据的 Oozie 作业。展望未来,我想 运行 按小时计算这项工作,以尽快准备结果。但是要回填旧数据,运行 顺序作业一次处理一周的数据会更快。

是否可以有一个允许这两种模式的 coordinator.xml 文件,并根据计划作业时临时指定的标志简单地在它们之间进行选择?

coordinator.xml中的<coordinator-app>标签的参数中,有一个单一的频率,这表明这是不可能的,至少不是自然的方式。

我不认为有一种简单的方法可以在协调器中处理不同的频率。根据您的描述,回填发生后您不需要每周工作。 我想您还必须更改工作流的参数化以处理更多或更少的数据。

另一方面,您可以在过去以您喜欢的频率启动协调器,并调整并发性、节流和执行等参数 in the app definition 这样 Oozie 就可以通过执行并行工作流。

我最终的解决方案是以给定的频率(比如每天)创建工作流,然后创建第二个具有不同频率(每周或每月)的“回填”工作流,将原始工作流调用为 sub-workflow.