错误 terasort.TeraSort:输入路径不存在:maprfs:/user/user01/–DXmx1024m

ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m

当 运行 terasort 应用程序通过修改参数时,我收到以下错误。

15/05/24 21:41:42 ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m

命令我运行执行慢跑

$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-\
examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2 \
-Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2

如果我删除这些参数 –DXmx1024m –Dmapred.reduce.tasks=2 -Dio.sort.mb=1 那么一切正常。

我想我正面临以下发布在 jira 上的错误,但它适用于 windows https://issues.apache.org/jira/browse/HADOOP-8536

在 运行 terasort 之前,你 运行 teragen 吗?

您使用什么文件系统?为什么 "maprfs"。如果不是故意的,请检查您的配置文件

15/05/24 21:41:42 ERROR terasort.TeraSort: Input path does not exist: **maprfs**:/user/user01/–DXmx1024m

这只是 MapR LAB GUIDE 中的一个 copy/paste 问题。

只需将 VM 输入参数中的 '–' 更改为 '-'。

查看copy/paste的执行:

-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-\
> examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2 \
> -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:24:57 INFO terasort.TeraSort: starting
15/10/26 15:24:59 ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m
-bash-4.1$

修复命令行查看执行:

-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-examples.jar terasort -DXmx1024m -Dmapred.reduce.tasks=2 -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:25:26 INFO terasort.TeraSort: starting
15/10/26 15:25:27 INFO input.FileInputFormat: Total input paths to process : 2
....