如何获取基于 yarn 的 Spark 应用程序的 CPU 使用配置文件
How to get CPU usage profile of a yarn based Spark application
我是 运行 在 hadoop 集群上使用 yarn 的 Apache Spark 应用程序。程序完成后，有什么方法可以检查 CPU 该程序的使用情况。基本上，我想要一个每隔 1 秒或 2 秒的分析日志。
您可以使用 ResourceManager 休息 API´s
基本上你需要实现一个 REST 客户端，每 1 或 2 秒查询一次 ResourManager 并在运行时创建你自己的日志。
我是 运行 在 hadoop 集群上使用 yarn 的 Apache Spark 应用程序。程序完成后，有什么方法可以检查 CPU 该程序的使用情况。基本上，我想要一个每隔 1 秒或 2 秒的分析日志。
您可以使用 ResourceManager 休息 API´s
基本上你需要实现一个 REST 客户端，每 1 或 2 秒查询一次 ResourManager 并在运行时创建你自己的日志。