资源管理器:如何获取在给定作业队列中执行的应用程序 ID 列表

Resource Manager: How to get list of app ids that were executed in a given job queue

我想获取在 MapReduce 作业队列中执行的 YARN 应用程序 ID 列表。

我探索了 Resource Manager API 但找不到 API 这只需要我传递作业队列名称并获取应用程序 ID 列表。

有办法实现吗?

资源管理器 Cluster Applications API 接受 queue 作为过滤参数。但是,此 API 只会显示您当前的职位。对于已完成的作业,您需要查看作业历史记录服务器。 Job History Server 的 Jobs API 显示已完成的作业,还支持 queue 作为过滤参数。

curl JOB_HIST_URL/ws/v1/history/mapreduce/jobs?queue=QUEUENAME

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Jobs_API