Oozie 工作流、协调器和捆绑包之间有什么区别

What is difference between Oozie workflow, coordinator and bundle

Oozie 工作流、协调器和包之间有什么区别?

Oozie 工作流定义了一系列操作。每次我们想要 运行 时,我们都需要手动调用它。 可以通过协调器安排相同的工作流程。 这种理解正确吗?

那bundle里还有什么东西?

我想它又被用来安排一组协调器。那么为什么不能使用一个协调器来安排其他协调器,就像一个工作流可以有另一个子工作流一样。

工作流程:

这是一系列动作。它写在xml中,动作可以是map reduce、hive、pig等

协调员:

这是一个在满足一组条件时触发操作(通常是工作流作业)的程序。条件可以是时间频率,其他外部事件等

捆绑包:

它被定义为一个更高级别的oozie抽象,批处理一组协调器jobs.We也可以指定bundle job的启动时间。

Workflow 没有 运行 任何 hadoop 作业的时间规范。 协调员作业具有关于 coordinator.xml 中使用频率标签的作业的时间规范。 集体协调员工作被认为是一个捆绑工作。 在 Bundle job 中,个人用户可以使用他们的 job.properties 为他们各自的工作分配他们自己的工作。

据我了解,使用 bundle 可以将几个协调器组合在一起,因此管理、查看、start/stop...

会更好

可能我们有两个数据管道,一个用于日志处理(collect/parse/ETL),一个用于业务逻辑。

然后我创建了两个包来对不同类型的协调器进行分组。