hadoop MapReduce Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

Question

我在尝试运行具有多个输入文件的 MapReduce 作业时遇到以下错误。虽然我能够运行 MapReduce 工作只有一个输入文件。我浏览了一些帖子，几乎每个人都说存在防火墙问题或未在 /etc/hosts 文件中正确设置主机名。即使是这种情况，我的 MapReduce 作业也会失败，无论输入是单个文件还是目录（多个文件）

下面是控制台的输出。

    INFO input.FileInputFormat: Total input paths to process : 2
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
WARN snappy.LoadSnappy: Snappy native library not loaded
INFO mapred.JobClient: Running job: job_201505201700_0005
INFO mapred.JobClient:  map 0% reduce 0%
INFO mapred.JobClient:  map 50% reduce 0%
INFO mapred.JobClient:  map 100% reduce 0%
INFO mapred.JobClient:  map 100% reduce 16%

INFO mapred.JobClient:  map 100% reduce 0%
INFO mapred.JobClient: Task Id : attempt_201505201700_0005_r_000000_0, Status : FAILED
    Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
WARN mapred.JobClient: Error reading task outputAMR-DEV02.local
WARN mapred.JobClient: Error reading task outputAMR-DEV02.local
INFO mapred.JobClient:  map 100% reduce 16%
INFO mapred.JobClient:  map 100% reduce 0%
INFO mapred.JobClient: Task Id : attempt_201505201700_0005_r_000000_1, Status : FAILED
    Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
WARN mapred.JobClient: Error reading task outputEmbeddedQASrv.local
WARN mapred.JobClient: Error reading task outputEmbeddedQASrv.local
INFO mapred.JobClient:  map 100% reduce 16%

注意。 EmbeddedQASrv.local(ip address.192.168.115.80)和AMR-DEV02.local(ip address.192.168.115.79)是我的从节点主机名。

我的 Hadoop 集群由 1 个主节点和 2 个从节点组成。

这是我从控制台运行宁的命令。（emp_dept_data 是一个包含 empData 和 deptData 文件的目录）

hadoop jar testdata/joindevice.jar JoinDevice emp_dept_data output15

但是，如果我运行此命令 MapReduce 作业成功（单个文件作为输入）

hadoop jar testdata/joindevice.jar JoinDevice emp_dept_data/empData output16

这是我的 /etc/hosts 文件条目设置主节点。但是同样的条目也被复制到我的从属节点。

127.0.0.1               amr-dev01.local amr-dev01 localhost
::1             localhost6.localdomain6 localhost6
#Hadoop Configurations
192.168.115.78    master
192.168.115.79    slave01
192.168.115.80     slave02

我不知道哪里出了问题，也不知道在哪里检查确切的根本原因。

Answer 1

实际问题出在 /etc/hosts 文件上。我评论了我的本地主机配置。 amr-dev01.local amr-dev01 localhost 而不是指定不同的名称，如 master、slave01、slave02...我使用了相同的主机名

192.168.115.78 amr-dev01 192.168.115.79 amr-dev02

hadoop MapReduce Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

hadoop MapReduce Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

hadoop

mapreduce

hdfs