了解 Hadoop 中的 MapReduce 1.x

Understanding MapReduce in Hadoop 1.x

关于 Hadoop 1.x,术语 "MapReduce" 的含义让我有些困惑。关于这一点,我遇到过各种术语,例如:JobTrackerTaskTracker(MapReduce 中的守护进程)。现在,当我们说 MapReduce 时,它​​指的是这些守护进程还是开发人员用来编写 MapReduce 应用程序代码的 API?

用户应用程序是否在 TaskTrackerJobTracker 上执行? MapReduce 本身是 运行 时间环境吗?

谁能用简单的话帮我理解一下?

MapReduce 是用于数据处理的编程模型(在 Hadoop 中)。

它在 Hadoop 中的实现-1.x 通常被称为经典 MapReduce 实现(或 MapReduce v1),它使用 Hadoop 的 JobTrackerTaskTrackers 来执行作业及其用于编写它们的相应 API(面向用户的客户端功能)。

  • JobTracker 坐标作业 运行.
  • TaskTrackers 运行 作业已拆分成的任务。

总而言之,MapReduce API 决定了必须如何编写 MapReduce 编程模型,而实现决定了如何执行使用该编程模型编写的作业。

MapReduce 编程模型的 YARN 实现(MapReduce v2)在用于编写它的 API 和用于执行的守护进程(ResourceManagerApplicationMasterNodeManagers)方面有所不同。