Hadoop 管理

Question

我设置了一个 Hadoop 1.2.x 版本，双节点集群。第一节点（NameNode、Jobtracker）和第二节点（Secondary NameNode、Datanode、TaskTracker）。

如何为每个节点分别设置 map 和 reduce 插槽为 4 和 2 以及如何从命令行验证相同内容。

Answer 1

要为每个 tasktracker 节点设置 slots，请限制一个节点可以同时运行的最大任务数。

将这些属性添加到 mapred-site.xml

<property>
   <name>mapred.tasktracker.map.tasks.maximum</name>
   <value>4</value>
</property>
<property>
   <name>mapred.tasktracker.reduce.tasks.maximum</name>
   <value>2</value>
</property>

您可以使用

检查 jobtracker 使用的配置

hadoop jobtracker -dumpConfiguration

Hadoop 管理

Hadoop Administration

hadoop

cluster-computing

administration