Map Reduce 中的执行流程

Question

我知道在 Mapper 完全 运行 之前，reducer 无法启动。我想知道 Reducer 中的 reduce 是否可以 运行 而 Shuffle 或 Sort 仍然 运行ning /未完全完成。

Answer 1

reducer 即使 "mapper task have partially completed" 也可以启动。控制它的参数是 mapreduce.slowstart

关注这个。 http://bytepadding.com/big-data/map-reduce/understanding-map-reduce-the-missing-guide/