映射器顺序执行而不是并行执行
the mappers execute sequentially not parallelly
你好,我对映射器的执行时间有疑问:
好吧,我终于成功地做到了:
读取 2 个文件输入:每个映射器一个文件,我添加这个 属性
mapred.tasktracker.map.tasks.maximum =1
到 mapred-site.xml
:
这对我有好处,所以最后的结果是:
每个映射器一个文件,每个节点一个映射器。
问题是,当我查看 master:50030 时,我发现映射器(2 个映射器,一个在 master 中执行,另一个在 slave 中执行)顺序执行而不是并行执行,为什么?我如何解决这个问题?
根据 documentation,mapred.tasktracker.map.tasks.maximum
设置任务跟踪器同时 运行 地图任务的最大数量。
您应该将此参数设置为大于 1 的值。
你好,我对映射器的执行时间有疑问:
好吧,我终于成功地做到了:
读取 2 个文件输入:每个映射器一个文件,我添加这个 属性
mapred.tasktracker.map.tasks.maximum =1
到 mapred-site.xml
:
这对我有好处,所以最后的结果是:
每个映射器一个文件,每个节点一个映射器。
问题是,当我查看 master:50030 时,我发现映射器(2 个映射器,一个在 master 中执行,另一个在 slave 中执行)顺序执行而不是并行执行,为什么?我如何解决这个问题?
根据 documentation,mapred.tasktracker.map.tasks.maximum
设置任务跟踪器同时 运行 地图任务的最大数量。
您应该将此参数设置为大于 1 的值。