什么时候用Hive引擎MR,什么时候用TEZ?

When to use Hive engine MR and when to use TEZ?

在什么情况下使用 Hive 引擎 TEZ 优于 MR?

各自的优缺点是什么?

TEZ 和 MR 一样,只是速度更快。查询越复杂,TEZ 的好处就越大。所以 TEZ 在工作时总是更可取。

Tez 通过提供为单个作业执行任务的复杂 DAG(有向无环图)的能力,将 MapReduce 范例概括为更强大的框架。 当计划通过 map-reduce 原语实现时,不可避免地会存在多个作业边界,这会引入 read/write 的持久存储和作业启动开销,并且可能会错过简单的优化机会,例如工作节点重用和温暖的缓存。

当然,在您的 TEZ 版本中还有一些错误尚未解决 - 这是您在 TEZ 上实施某些特定解决方案时可能面临的唯一问题。

尽管 MR 更成熟,但 Hive-on-MR 在 Hive 2 中已被弃用,并且在未来的版本中可能不可用。

另请阅读:

Difference between MR and Tez

还有这个:

Introducing Tez