如何获取 hadoop yarn 应用程序的内存和 CPU 使用情况?

How can get memory and CPU usage of hadoop yarn application?

我想问一下,在我 运行 我的 hadoop mapreduce 应用程序之后,我如何才能获得该应用程序的总内存和 CPU 使用情况。我在日志和资源管理器网页上看到了它,但我没有得到它。

可能吗?我可以按作业执行或按应用程序获取它吗?我可以按节点使用率或总使用率获取吗?

非常感谢....

是的,您可以很好地查看应用程序的总内存和cpu使用情况。

您可以使用职位跟踪器UI,点击完成页面上的计数器link,可能会得到如下典型视图。内存和 cpu 计数器已突出显示。

单击突出显示的 links 将显示作业的每个任务 (Map/Reduce) 的消耗量。

要从命令行查看这些消耗计数器的这些值,您可以使用

hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter CPU_MILLISECONDS cpu 用法

hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter PHYSICAL_MEMORY_BYTES 内存使用