如何找到 运行 我工作的确切 hadoop jar 命令？
How to find the exact hadoop jar command which was running my job?
我正在使用 CDH5.4。我正在 运行 宁一个 hadoop 作业，从命令行看起来没问题（当只是 运行 hadoop jar 时）。但是，如果我 运行 它来自 yarn 它会用一个映射器静静地完成，没有缩减器。我真的怀疑 'runs' 都是 运行 同一个命令。但是，我想确定这一点。所以我查看日志：
（请注意它是一个带有自定义 运行ner 的 scalding 作业 - 当我从命令行 运行 时一切正常）。
/container_1432733015407_0953_01_000001/container_1432733015407_0953_01_000001/user/stdout/?start=0
我看到了类似的东西：
Main class : org.apache.oozie.action.hadoop.JavaMain
Maximum output : 2048
Arguments :
-D
oneparam=value
-D
secondparam=value
所以我把这些变成了命令行。
和运行它与类似
的东西
hadoop jar MyScaldingRunner -D oneparam=value -D secondparam=value 它 运行 很好并产生了结果。
有没有办法让我查看通过 oozie + yarn到运行吗？因为从那里它只是默默地结束了！
我没有直接回答你的问题，但 JDiagnostics could help you to recreate the parameters needed, like classpath or environment variables. Here is an example 你可以在你的程序开头输入 运行 它：
LOG.info(new DefaultQuery().call())
我正在使用 CDH5.4。我正在 运行 宁一个 hadoop 作业，从命令行看起来没问题（当只是 运行 hadoop jar 时）。但是，如果我 运行 它来自 yarn 它会用一个映射器静静地完成，没有缩减器。我真的怀疑 'runs' 都是 运行 同一个命令。但是，我想确定这一点。所以我查看日志：
（请注意它是一个带有自定义 运行ner 的 scalding 作业 - 当我从命令行 运行 时一切正常）。
/container_1432733015407_0953_01_000001/container_1432733015407_0953_01_000001/user/stdout/?start=0
我看到了类似的东西：
Main class : org.apache.oozie.action.hadoop.JavaMain
Maximum output : 2048
Arguments :
-D
oneparam=value
-D
secondparam=value
所以我把这些变成了命令行。
和运行它与类似
的东西hadoop jar MyScaldingRunner -D oneparam=value -D secondparam=value 它 运行 很好并产生了结果。
有没有办法让我查看通过 oozie + yarn到运行吗？因为从那里它只是默默地结束了！
我没有直接回答你的问题，但 JDiagnostics could help you to recreate the parameters needed, like classpath or environment variables. Here is an example 你可以在你的程序开头输入 运行 它：
LOG.info(new DefaultQuery().call())