MapReduce 权限 0700 错误

Question

我在运行 Eclipse luna 中的 mapreduce jar 文件时出错。我已经使用 Cygwin 设置了我的 HBASE 和 HADOOP。

这是来自 Eclipse 控制台的错误消息：

15/03/23 16:02:01 INFO mapreduce.TableOutputFormat: Created table instance for TWEETS_TIMEWISE
15/03/23 16:02:03 INFO mapred.JobClient: Running job: job_201503231018_0009
15/03/23 16:02:04 INFO mapred.JobClient:  map 0% reduce 0%
15/03/23 16:02:04 INFO mapred.JobClient: Task Id : attempt_201503231018_0009_m_000002_0, Status : FAILED
Error initializing attempt_201503231018_0009_m_000002_0:
java.io.IOException: Failed to set permissions of path: \tmp\hadoop-z010823-dev\mapred\local\taskTracker\z010823 to 0700
    at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:691)
    at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:664)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:514)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:349)
    at org.apache.hadoop.mapred.JobLocalizer.createLocalDirs(JobLocalizer.java:144)
    at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:191)
    at org.apache.hadoop.mapred.TaskTracker.run(TaskTracker.java:1336)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1311)
    at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1226)
    at org.apache.hadoop.mapred.TaskTracker.run(TaskTracker.java:2603)
    at java.lang.Thread.run(Thread.java:745)

我无法解决这个权限问题。谢谢

Answer 1

由于您在 Windows 框上，但运行ning 在 Cygwin 下，似乎存在身份混淆的情况（Hadoop 认为它在 UNIX 下运行ning，并且尝试设置显然会失败的 UNIX 权限）。我建议摆脱 Cygwin，但如果您已经下定决心，也许可以在 Hadoop 自己的论坛上询问是否有可能运行您的怪兽。

Answer 2

根据 Hadoop 的 own website, "Cygwin is neither required nor supported." I've ran Hadoop on Windows before - I've installed Cygwin just to get the Unix tools like cp and rm on my path, but I've never ran Hadoop from Cygwin before. Try this guide I wrote recently，应该可以帮助您在 Windows 上获得 Hadoop 运行。

Answer 3

我终于将 Cygwin 迁移到了 RHEL。现在它运行良好。

感谢 aoetalks。

MapReduce 权限 0700 错误

Permission 0700 Error with MapReduce

java

eclipse

hadoop

hbase