YARN 和 NameNode 什么时候交互

When do YARN and NameNode interact

作业提交时,YARN和NameNode什么时候交互?提交作业后,它会发送给谁?有人可以解释端到端流程 - hadoop 生态系统如何运作吗?

谢谢!

基本上YARN和HDFS没有直接交互,见https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

但是 YARN 作业需要一些通常位于 HDFS 上的文件(库、配置等)

Namenode:存储数据节点中存储的所有数据的元数据,监控数据节点的健康状况。基本上就是主从架构

YARN:代表Yet Another Resource Negotiator。纱线主要有两种成分。

1.> 日程安排

2.> 应用程序管理器

Yarn 还包含 master,即 Resource Manager 和 Slave,即 Node Manager。

出于调度目的,有 3 个 调度器:

1.> FIFO 2.> 容量 3.> Fair-share

节点管理器下有资源管理器分配的Application Master组件。

一个应用程序主机分配给一个应用程序。

作业由客户端直接提交,Resource Manager将作业分配给Application Master,Node manager监控Application Master的活跃度

现在,无论何时有工作,资源管理器都会创建一个工作 ID 并为该工作分配一个 Application Master。 Resource Manager 联系 Namenode 以检索有关必须执行任务的所需数据的元数据的信息。 Resource Manager收到的信息再传递给Application Master。

这是 Yarn 与 Namenode 一起工作的基本概述。您还可以从 YARN

中详细阅读

此外,NameNode 交互只是在 YARN 中与 NameNode 对话的 Hadoop 应用程序 运行 中。并非所有 YARN 应用程序都需要与 HDFS 通信