如何在oozie工作流中获取oozie jobId？

Question

我有一个将调用 shell 文件的 oozie 工作流，Shell 文件将进一步调用 mapreduce 作业的驱动程序 class。现在我想将我的 oozie jobId 映射到 Mapreduce jobId 以供以后处理。有什么方法可以在工作流文件中获取 oozie jobId，以便我可以将相同的参数传递给我的驱动程序 class 进行映射。

以下是我的样本workflow.xml文件

<workflow-app xmlns="uri:oozie:workflow:0.4" name="test">
<start to="start-test" />
<action name='start-test'>
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>${jobScript}</exec>
        <argument>${fileLocation}</argument>
        <argument>${nameNode}</argument>
        <argument>${jobId}</argument> <!-- this is how i wanted to pass oozie jobId --> 
        <file>${jobScriptWithPath}#${jobScript}</file>
    </shell>
    <ok to="end" />
    <error to="kill" />
</action>
<kill name="kill">
    <message>test job failed
        failed:[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end" />

以下是我的 shell 脚本。

hadoop jar testProject.jar testProject.MrDriver

Answer 1

尝试使用${wf:id()}:

String wf:id()

It returns the workflow job ID for the current workflow job.

More info here.

Answer 2

Oozie 在 YARN 容器运行ning shell（"launcher" 容器）的 CWD 中放置了一个 XML 文件，并且还设置了一个环境变量指向那个 XML （虽然不记得名字了）.

XML 包含很多内容，例如工作流名称、操作名称、两者的 ID、运行尝试次数等。因此，您可以 sed 在 shell 脚本本身中返回该信息。

当然，明确传递 ID（如 Alexei 所建议的那样）会更简洁，但有时 "clean" 并不是最好的方法。特别是如果您担心它是否是第一个运行或不是...

如何在oozie工作流中获取oozie jobId？

How to get oozie jobId in oozie workflow?

hadoop

mapreduce

workflow

oozie