Hadoop NodeManager个数与DataNodes个数关系

Hadoop number of NodeManager and number of DataNodes relation

NodeManager 的数量和 DataNode 的数量之间有什么关系,所以我不能为容器设置超出物理内存限制的异常?

节点管理器和数据节点关联

节点管理器和数据节点的数量之间存在 1:1 相关性。

  • 节点管理器管理作业请求的容器
  • 数据节点管理数据

Hadoop 旨在确保计算(节点管理器)运行尽可能接近数据(数据节点)。通常,作业的容器分配在存在数据的相同节点上。

因此在典型的 Hadoop 集群中,数据节点和节点管理器 运行 在同一台机器上。

内存问题:

yarn-site.xml 中的节点管理器相关设置错误时,您通常会遇到内存问题。

要正确设置节点管理器,您可以查看 link 中提供的答案:MapReduce job hangs, waiting for AM container to be allocated。 检查 yarn-site.xmlmapred-site.xml 文件中指定的设置。

要了解 YARN 配置的调整,我发现这是一个很好的来源:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html