如何在oozie工作流中获取oozie jobId?

How to get oozie jobId in oozie workflow?

我有一个将调用 shell 文件的 oozie 工作流,Shell 文件将进一步调用 mapreduce 作业的驱动程序 class。现在我想将我的 oozie jobId 映射到 Mapreduce jobId 以供以后处理。有什么方法可以在工作流文件中获取 oozie jobId,以便我可以将相同的参数传递给我的驱动程序 class 进行映射。

以下是我的样本workflow.xml文件

<workflow-app xmlns="uri:oozie:workflow:0.4" name="test">
<start to="start-test" />
<action name='start-test'>
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>${jobScript}</exec>
        <argument>${fileLocation}</argument>
        <argument>${nameNode}</argument>
        <argument>${jobId}</argument> <!-- this is how i wanted to pass oozie jobId --> 
        <file>${jobScriptWithPath}#${jobScript}</file>
    </shell>
    <ok to="end" />
    <error to="kill" />
</action>
<kill name="kill">
    <message>test job failed
        failed:[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end" />

以下是我的 shell 脚本。

hadoop jar testProject.jar testProject.MrDriver   

尝试使用${wf:id()}:

String wf:id()

It returns the workflow job ID for the current workflow job.

More info here.

Oozie 在 YARN 容器 运行ning shell("launcher" 容器)的 CWD 中放置了一个 XML 文件,并且还设置了一个环境变量指向那个 XML (虽然不记得名字了).

XML 包含很多内容,例如工作流名称、操作名称、两者的 ID、运行 尝试次数等。 因此,您可以 sed 在 shell 脚本本身中返回该信息。

当然,明确传递 ID(如 Alexei 所建议的那样)会更简洁,但有时 "clean" 并不是最好的方法。特别是如果您担心它是否是第一个 运行 或不是...