具有 HAR 文件输入的 MapReduce 作业

MapReduce Job with HAR file input

我创建了一个包含多个小输入文件的 HAR 文件。对于 运行 具有单个输入文件的 map reduce 作业,这将是命令:

hadoop jar <jarname> <packagename.classname> <input> <output>

但是,如果上面的 <input> 是一个 HAR 文件,那么将 HAR 文件的所有内容都视为输入的命令是什么?

如果输入是 HAR 文件,则必须在输入位置提供以下内容

har:///hdfs path to har file

由于 hadoop 档案将作为文件系统公开,mapreduce 将能够使用 hadoop 档案中的所有文件作为输入。