Hbase 批量加载 - Map Reduce 作业失败

Question

我有用于 hbase 批量加载的 map reduce 作业。作业正在将数据转换为 Hfiles 并加载到 hbase 中，但在某些 map % 作业失败后。下面是我得到的例外。

Error: java.io.FileNotFoundException: /var/mapr/local/tm4/mapred/nodeManager/spill/job_1433110149357_0005/attempt_1433110149357_0005_m_000000_0/spill83.out.index
    at org.apache.hadoop.fs.RawLocalFileSystem.open(RawLocalFileSystem.java:198)
    at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:800)
    at org.apache.hadoop.io.SecureIOUtils.openFSDataInputStream(SecureIOUtils.java:156)
    at org.apache.hadoop.mapred.SpillRecord.<init>(SpillRecord.java:74)
    at org.apache.hadoop.mapred.MapRFsOutputBuffer.mergeParts(MapRFsOutputBuffer.java:1382)
    at org.apache.hadoop.mapred.MapRFsOutputBuffer.flush(MapRFsOutputBuffer.java:1627)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.close(MapTask.java:709)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:779)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:345)
    at org.apache.hadoop.mapred.YarnChild.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1566)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)

我在工作中唯一注意到的一点是，对于少量数据，它工作正常，但随着数据的增长，工作开始失败。

如果有人遇到过这个问题，请告诉我。

谢谢

Answer 1

这是 MapR 中的错误。我在 MapR 论坛上得到了回复。如果有人遇到类似问题，请参考下面 link.

http://answers.mapr.com/questions/163440/hbase-bulk-load-map-reduce-job-failing-on-mapr.html

Hbase 批量加载 - Map Reduce 作业失败

Hbase Bulk load - Map Reduce job failing

hadoop

hbase

mapreduce

bulk-load