如何更改 MR 作业的日志级别

Question

我正在尝试更改 MR 作业的日志级别，我使用了以下命令：

hadoop jar appMR.jar MainMR -Dmapreduce.map.log.level=DEBUG <args...>

但是 -Dmapreduce.map.log.level=DEBUG 作为作业的第一个参数。
有没有办法只对特定的 MR 作业执行此操作而不更改 log4j 属性文件中的级别？

Answer 1

您可以使用：

$ export HADOOP_ROOT_LOGGER="DEBUG,console"

然后 运行 你的 hadoop jar 命令。

https://wiki.apache.org/hadoop/HowToConfigure（在环境变量下）

Answer 2

如果您的主要 class 实现了 工具接口并通过 ToolRunner 实用程序调用。检查工具 javadoc 示例并围绕它对您的实现进行建模： http://archive.cloudera.com/cdh5/cdh/5/hadoop/api/org/apache/hadoop/util/Tool.html （严厉的J）

http://community.cloudera.com/t5/Batch-Processing-and-Workflow/How-to-change-the-log-level-of-a-MR-job/m-p/59245#M3264?eid=3&aid=1