oozie.launcher.*配置放在哪里?
Where to put oozie.launcher.* configuration?
在尝试正确使用 Oozie 时,我最终设置了一些参数,即:
- oozie.launcher.mapreduce.map.memory.mb
- oozie.launcher.mapreduce.map.java.opts
- oozie.launcher.yarn.app.mapreduce.am.resource.mb
- oozie.launcher.mapred.job..queue.name
如果我在 worfklow 配置中设置它们,它们会按预期工作。
是否有 way/a 全局设置它们的地方,即。不是每个工作流程?我期待 custom-oozie-site.xml 会是正确的地方,但显然不是(如果放在那里它们没有效果)。工作流本身是唯一可以配置它们的地方吗?
如果相关,我使用的是 hdp 2.5。
在文档的 Oozie 工作流参数化部分,他们声明
Workflow applications may define default values for the workflow job parameters. They must be defined in a config-default.xml file bundled with the workflow application archive... Workflow job properties have precedence over the default values.
我见过的另一个选择是定义父工作流定义并传播到子工作流。当然,这只适用于特定情况,并不总是一个好主意。
此外,工作流部署部分中的文档注释
The config-default.xml file defines, if any, default values for the workflow job parameters. This file must be in the Hadoop Configuration XML format. EL expressions are not supported and user.name property cannot be specified in this file. Any other resources like job.xml files referenced from a workflow action action node must be included under the corresponding path, relative paths always start from the root of the workflow application.
这是我的团队目前正在尝试解决 12 个不同 ETL 负载的问题。
在尝试正确使用 Oozie 时,我最终设置了一些参数,即:
- oozie.launcher.mapreduce.map.memory.mb
- oozie.launcher.mapreduce.map.java.opts
- oozie.launcher.yarn.app.mapreduce.am.resource.mb
- oozie.launcher.mapred.job..queue.name
如果我在 worfklow 配置中设置它们,它们会按预期工作。
是否有 way/a 全局设置它们的地方,即。不是每个工作流程?我期待 custom-oozie-site.xml 会是正确的地方,但显然不是(如果放在那里它们没有效果)。工作流本身是唯一可以配置它们的地方吗?
如果相关,我使用的是 hdp 2.5。
在文档的 Oozie 工作流参数化部分,他们声明
Workflow applications may define default values for the workflow job parameters. They must be defined in a config-default.xml file bundled with the workflow application archive... Workflow job properties have precedence over the default values.
我见过的另一个选择是定义父工作流定义并传播到子工作流。当然,这只适用于特定情况,并不总是一个好主意。
此外,工作流部署部分中的文档注释
The config-default.xml file defines, if any, default values for the workflow job parameters. This file must be in the Hadoop Configuration XML format. EL expressions are not supported and user.name property cannot be specified in this file. Any other resources like job.xml files referenced from a workflow action action node must be included under the corresponding path, relative paths always start from the root of the workflow application.
这是我的团队目前正在尝试解决 12 个不同 ETL 负载的问题。