我可以强制 YARN 使用 Application Master 容器的主节点吗?
Can I force YARN to use the master node for the Application Master container?
在我的 Hadoop/Spark 运行期间,我的大主节点硬件几乎什么都不做,因为 YARN 在每个任务上为其 AM 使用随机从节点。我更喜欢旧的 Hadoop 1;当出现问题时,通过这种方式避免了很多日志追踪和 ssh 痛苦。
可能吗?
Spark 和 YARN 节点标签是可能的。
- 标记您的节点
- 使用
spark.yarn.am.nodeLabelExpression
属性
好读:
在我的 Hadoop/Spark 运行期间,我的大主节点硬件几乎什么都不做,因为 YARN 在每个任务上为其 AM 使用随机从节点。我更喜欢旧的 Hadoop 1;当出现问题时,通过这种方式避免了很多日志追踪和 ssh 痛苦。
可能吗?
Spark 和 YARN 节点标签是可能的。
- 标记您的节点
- 使用
spark.yarn.am.nodeLabelExpression
属性
好读: