如何将第三方 jar 添加到 mapreduce 作业?

How to add third party jar to mapreduce job?

寻找将第三方 jar 添加到 mapreduce 作业的解决方案。目前,我们正在将第三方 jar 捆绑到 map reduce 作业中。似乎有时 mapreduce 作业 jar 的大小会变高。有没有另一种方法可以解决这个问题

通常走 uber jar 路线是一个很好的方法,如果您对不同 MapReduce 作业依赖于同一 jar 的不同版本,则将 jar 添加到通用 java 类路径会出现问题.

使用下面的句子。

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/path/to/my/jar1:/path/to/my/jar2

然后您可以 运行 照常处理您的 hadoop 作业:hadoop jar [mainClass]。有关详细信息,请查看

我相信“-libjars jar1,jar2,...”是您需要的