添加 hapi 3rd-party lib (jars) 到 map-reduce

Question

我正在尝试将 hapi jar 添加到 map-reduce 任务中。我在 /home/training/lib
下有所有需要的罐子我制作了包含我需要的所有 hapi 罐子和运行
的胖罐子 hadoop jar mp.jar stubs.MsgParser infile outfile -libjars /home/training/lib 我懂了 Usage: MsgParser [generic options] <input dir> <output dir> 在我的驱动程序中，我实现了 ToolRunner
更多信息：

我运行正在使用 CloudEra 发行版。
我只需要映射器中的罐子
mp.jar 是从 Eclipse 导出的 jar

我的 hadoop jar 命令是否需要修改或是否有任何其他解决方案来添加这些 jar，我无法将 jar 复制到 /usr/lib/hadoop/client-0.20，因为我不是所有者
提前致谢！

Answer 1

解法： 将您的罐子上传到 hdfs 并简单地添加

DistributedCache.addFileToClassPath(new Path(HDFSPATH), conf);

驱动的main方法中

添加 hapi 3rd-party lib (jars) 到 map-reduce

Add the hapi 3rd-party lib (jars) to map-reduce

java

hadoop

mapreduce

cloudera

hapi