YARN 和 NameNode 什么时候交互
When do YARN and NameNode interact
作业提交时,YARN和NameNode什么时候交互?提交作业后,它会发送给谁?有人可以解释端到端流程 - hadoop 生态系统如何运作吗?
谢谢!
基本上YARN和HDFS没有直接交互,见https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
但是 YARN 作业需要一些通常位于 HDFS 上的文件(库、配置等)
Namenode:存储数据节点中存储的所有数据的元数据,监控数据节点的健康状况。基本上就是主从架构
YARN:代表Yet Another Resource Negotiator。纱线主要有两种成分。
1.> 日程安排
2.> 应用程序管理器
Yarn 还包含 master,即 Resource Manager 和 Slave,即 Node Manager。
出于调度目的,有 3 个 调度器:
1.> FIFO 2.> 容量 3.> Fair-share
节点管理器下有资源管理器分配的Application Master组件。
一个应用程序主机分配给一个应用程序。
作业由客户端直接提交,Resource Manager将作业分配给Application Master,Node manager监控Application Master的活跃度
现在,无论何时有工作,资源管理器都会创建一个工作 ID 并为该工作分配一个 Application Master。 Resource Manager 联系 Namenode 以检索有关必须执行任务的所需数据的元数据的信息。 Resource Manager收到的信息再传递给Application Master。
这是 Yarn 与 Namenode 一起工作的基本概述。您还可以从 YARN
中详细阅读
此外,NameNode 交互只是在 YARN 中与 NameNode 对话的 Hadoop 应用程序 运行 中。并非所有 YARN 应用程序都需要与 HDFS 通信
作业提交时,YARN和NameNode什么时候交互?提交作业后,它会发送给谁?有人可以解释端到端流程 - hadoop 生态系统如何运作吗?
谢谢!
基本上YARN和HDFS没有直接交互,见https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
但是 YARN 作业需要一些通常位于 HDFS 上的文件(库、配置等)
Namenode:存储数据节点中存储的所有数据的元数据,监控数据节点的健康状况。基本上就是主从架构
YARN:代表Yet Another Resource Negotiator。纱线主要有两种成分。
1.> 日程安排
2.> 应用程序管理器
Yarn 还包含 master,即 Resource Manager 和 Slave,即 Node Manager。
出于调度目的,有 3 个 调度器:
1.> FIFO 2.> 容量 3.> Fair-share
节点管理器下有资源管理器分配的Application Master组件。
一个应用程序主机分配给一个应用程序。
作业由客户端直接提交,Resource Manager将作业分配给Application Master,Node manager监控Application Master的活跃度
现在,无论何时有工作,资源管理器都会创建一个工作 ID 并为该工作分配一个 Application Master。 Resource Manager 联系 Namenode 以检索有关必须执行任务的所需数据的元数据的信息。 Resource Manager收到的信息再传递给Application Master。
这是 Yarn 与 Namenode 一起工作的基本概述。您还可以从 YARN
中详细阅读此外,NameNode 交互只是在 YARN 中与 NameNode 对话的 Hadoop 应用程序 运行 中。并非所有 YARN 应用程序都需要与 HDFS 通信