YARN申请的资源不活跃,其他作业会用到吗?
The resources applied by YARN are not active, Will other jobs use them?
我运行一个spark作业在yarn中分配了很多资源,作业时间很长
最后spark job的任务就是激活一个核心和两个核心。
我想知道其他 spark 作业或 mr 作业可以使用的非活动资源。
或者只是第一个spark作业完成,资源才可以被其他作业使用。
取决于您的排队策略和为每个队列指定的调度程序。
我假设您只有一个默认队列(根),您的所有作业都在其中提交。在这种情况下,默认调度程序是一个 FIFO 调度程序,它只会在先前提交的作业完成后才提交新作业。
如果不是这种情况,您可以检查 etc/hadoop/capacity-scheduler.xml
文件中的队列和指定调度程序。
有关 2 种调度程序的更多信息
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html
我运行一个spark作业在yarn中分配了很多资源,作业时间很长
最后spark job的任务就是激活一个核心和两个核心。
我想知道其他 spark 作业或 mr 作业可以使用的非活动资源。
或者只是第一个spark作业完成,资源才可以被其他作业使用。
取决于您的排队策略和为每个队列指定的调度程序。
我假设您只有一个默认队列(根),您的所有作业都在其中提交。在这种情况下,默认调度程序是一个 FIFO 调度程序,它只会在先前提交的作业完成后才提交新作业。
如果不是这种情况,您可以检查 etc/hadoop/capacity-scheduler.xml
文件中的队列和指定调度程序。
有关 2 种调度程序的更多信息
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html