我可以强制 YARN 使用 Application Master 容器的主节点吗?

Can I force YARN to use the master node for the Application Master container?

在我的 Hadoop/Spark 运行期间,我的大主节点硬件几乎什么都不做,因为 YARN 在每个任务上为其 AM 使用随机从节点。我更喜欢旧的 Hadoop 1;当出现问题时,通过这种方式避免了很多日志追踪和 ssh 痛苦。

可能吗?

Spark 和 YARN 节点标签是可能的。

  1. 标记您的节点
  2. 使用spark.yarn.am.nodeLabelExpression 属性

好读: