Hadoop YARN 版本可能的流式命令行选项的完整列表是什么?
What is the complete list of streaming command line options possible for Hadoop YARN version?
我正在浏览 Hadoop 网站,发现以下 link 用于 hadoop 流。
https://hadoop.apache.org/docs/current1/streaming.html
但是,我对 Hadoop YARN (MRv2) - 流式命令行选项更感兴趣。
如果有人有详尽的清单,你能post在这里吗?
如果没有找到,请告诉我以下命令中的任何命令行选项是否非法。
yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
-D mapred.jab.name="Streaming wordCount Rating" \
-D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator \
-D map.output.key.field.separator=\t \
-D mapreduce.partition.keycomparator.options=-k2,2nr \
-D mapreduce.job.reduces=${NUM_REDUCERS} \
-files mapper2.py,reducer2.py \
-mapper "python mapper2.py" \
-reducer "python reducer2.py" \
-input ${OUT_DIR} \
-output ${OUT_DIR_2} > /dev/null
如果您想查看所有 Hadoop 流式命令行选项,请参阅 StreamJob.java - setupOptions():
allOptions = new Options().
addOption(input).
addOption(output).
addOption(mapper).
addOption(combiner).
addOption(reducer).
addOption(file).
addOption(dfs).
addOption(additionalconfspec).
addOption(inputformat).
addOption(outputformat).
addOption(partitioner).
addOption(numReduceTasks).
addOption(inputreader).
addOption(mapDebug).
addOption(reduceDebug).
addOption(jobconf).
addOption(cmdenv).
addOption(cacheFile).
addOption(cacheArchive).
addOption(io).
addOption(background).
addOption(verbose).
addOption(info).
addOption(debug).
addOption(help).
addOption(lazyOutput);
与 MapReduce 相关的选项是所有 MapReduce 应用程序的通用选项,要查看它们是否有效,请查看 mapred-default.xml 配置变量。仅供参考:这是指 Hadoop 2.8.0,因此您可能需要找到适合您的 Hadoop 版本的 XML。
我正在浏览 Hadoop 网站,发现以下 link 用于 hadoop 流。
https://hadoop.apache.org/docs/current1/streaming.html
但是,我对 Hadoop YARN (MRv2) - 流式命令行选项更感兴趣。
如果有人有详尽的清单,你能post在这里吗?
如果没有找到,请告诉我以下命令中的任何命令行选项是否非法。
yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
-D mapred.jab.name="Streaming wordCount Rating" \
-D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator \
-D map.output.key.field.separator=\t \
-D mapreduce.partition.keycomparator.options=-k2,2nr \
-D mapreduce.job.reduces=${NUM_REDUCERS} \
-files mapper2.py,reducer2.py \
-mapper "python mapper2.py" \
-reducer "python reducer2.py" \
-input ${OUT_DIR} \
-output ${OUT_DIR_2} > /dev/null
如果您想查看所有 Hadoop 流式命令行选项,请参阅 StreamJob.java - setupOptions():
allOptions = new Options().
addOption(input).
addOption(output).
addOption(mapper).
addOption(combiner).
addOption(reducer).
addOption(file).
addOption(dfs).
addOption(additionalconfspec).
addOption(inputformat).
addOption(outputformat).
addOption(partitioner).
addOption(numReduceTasks).
addOption(inputreader).
addOption(mapDebug).
addOption(reduceDebug).
addOption(jobconf).
addOption(cmdenv).
addOption(cacheFile).
addOption(cacheArchive).
addOption(io).
addOption(background).
addOption(verbose).
addOption(info).
addOption(debug).
addOption(help).
addOption(lazyOutput);
与 MapReduce 相关的选项是所有 MapReduce 应用程序的通用选项,要查看它们是否有效,请查看 mapred-default.xml 配置变量。仅供参考:这是指 Hadoop 2.8.0,因此您可能需要找到适合您的 Hadoop 版本的 XML。