YARN申请的资源不活跃,其他作业会用到吗?

The resources applied by YARN are not active, Will other jobs use them?

我运行一个spark作业在yarn中分配了很多资源,作业时间很长

最后spark job的任务就是激活一个核心和两个核心。

我想知道其他 spark 作业或 mr 作业可以使用的非活动资源。

或者只是第一个spark作业完成,资源才可以被其他作业使用。

取决于您的排队策略和为每个队列指定的调度程序。

我假设您只有一个默认队列(根),您的所有作业都在其中提交。在这种情况下,默认调度程序是一个 FIFO 调度程序,它只会在先前提交的作业完成后才提交新作业。

如果不是这种情况,您可以检查 etc/hadoop/capacity-scheduler.xml 文件中的队列和指定调度程序。

有关 2 种调度程序的更多信息

https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html