HDP 2.3 沙箱 mapreduce 日志

HDP 2.3 sandbox mapreduce log

我的 mapreduce 程序中有 System.out.printlns; MR 运行 成功,但我无法在任何地方看到日志。 我尝试使用 "yarn log -applicationId ...",但我仍然看不到我的日志。

启用日志是否需要任何特殊设置?如果不是,日志文件位置是什么?

当您 运行 前几行的工作时,它会为您提供 link 来跟踪该工作。您可以将 link 粘贴到浏览器中并浏览任务级别日志以查看详细信息。

在 map reduce 中使用 System.out.println 不是好的做法。

如果您配置了日志聚合,那么您将在 HDFS 上的 /tmp/logs 中找到您的日志。这个hdfs目录是用属性 yarn.nodemanager.remote-app-log-dir设置的(默认是/tmp/logs).

因此您应该能够使用以下命令在名称节点上看到用户的应用程序日志目录:

hdfs dfs -ls /tmp/logs

端口8088显示了集群上所有的MR作业。单击 MR 作业并单击跟踪历史记录。