具有 HAR 文件输入的 MapReduce 作业
MapReduce Job with HAR file input
我创建了一个包含多个小输入文件的 HAR
文件。对于 运行 具有单个输入文件的 map reduce 作业,这将是命令:
hadoop jar <jarname> <packagename.classname> <input> <output>
但是,如果上面的 <input>
是一个 HAR 文件,那么将 HAR
文件的所有内容都视为输入的命令是什么?
如果输入是 HAR 文件,则必须在输入位置提供以下内容
har:///hdfs path to har file
由于 hadoop 档案将作为文件系统公开,mapreduce 将能够使用 hadoop 档案中的所有文件作为输入。
我创建了一个包含多个小输入文件的 HAR
文件。对于 运行 具有单个输入文件的 map reduce 作业,这将是命令:
hadoop jar <jarname> <packagename.classname> <input> <output>
但是,如果上面的 <input>
是一个 HAR 文件,那么将 HAR
文件的所有内容都视为输入的命令是什么?
如果输入是 HAR 文件,则必须在输入位置提供以下内容
har:///hdfs path to har file
由于 hadoop 档案将作为文件系统公开,mapreduce 将能够使用 hadoop 档案中的所有文件作为输入。