如何单独测试 hadoop MapReduce java 操作，它是 oozie 工作流的一部分（带有文件标签）？

Question

我正尝试在 java 中单独测试 MapReduce 作业，这是 oozie 工作流的一部分。我能够使用以下命令在 java 中成功测试 MapReduce 作业。

hadoop jar /tmp/lib/Example.jar com.example.MRDriver mapper=com.example.DataTransformMapper

挑战在于将标记作为 oozie java 操作的一部分。请告知如何使用 file 标签模拟或测试此 MapReduce 作业。

<action name="JavaMRAction">
<java>
<job-xml>${hbase_site_xml}</job-xml>
<main-class>com.example.MRDriver</main-class>
<java-opts>-Dsun.security.krb5.debug=true</java-opts>
<arg>mapper=com.example.DataTransformMapper</arg>
<file>${hdfs_sharelib_hbase_path}hbase-client.jar#hbase-client.jar</file>
<file>${hdfs_sharelib_hbase_path}hbase-common.jar#hbase-common.jar</file> 
<file>${kerberos_keytab_file}#${kerberos_keytab_filename}</file>            
</java>
<ok to="NextAction" />
<error to="ErrorAction" />
</action>

Answer 1

使用 hadoop jar 命令的“-libjars”选项：https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html#jar

如何单独测试 hadoop MapReduce java 操作，它是 oozie 工作流的一部分（带有文件标签）？

How to test hadoop MapReduce java action separately which was part of an oozie workflow (with file tag)?

java

hadoop

mapreduce

oozie