MapReduce 作业停止执行

Question

我想运行在 Hadoop 集群上进行基于 TeraSort 的基准测试。脚本正在运行，首先它处于运行ning 状态，但几分钟后它停留在 Accepted 状态和 FinalStatus 未定义。我想，这可能是一个资源问题，所以我像上面那样修改了yarn-site.xml。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value>
  <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>2048</value>
</property>

同样的问题。您还可以在上面看到有关此过程的一些图表。当作业的进度条在 ~9-15 % 时，它会停止。

Answer 1

请也验证为这些参数设置的值：

yarn.scheduler.maximum-allocation-mb, mapreduce.map.memory.mb, mapreduce.map.java.opts, mapreduce.reduce.memory.mb, mapreduce.reduce.java.opts

从yarn.scheduler.minimum-allocation-mb 开始为512MB。这将有助于调度程序以较小的增量为任务分配内存。

更新 1： 这个 link 将有助于理解一些事情： https://www.mapr.com/blog/best-practices-yarn-resource-management

此外，根据您的环境设置输入拆分大小。为了获得最佳读取性能，您的输入拆分大小和块大小应该相同。

MapReduce 作业停止执行

MapReduce job stopped executing

benchmarking

hadoop

mapreduce

cloudera-manager

cloudera-cdh