作为 Map only 作业执行的 Hive 查询
Hive queries executing as Map only jobs
我最近遇到一个问题
Will all Hive queries be converted into map and reduce jobs?
我知道 Hive 查询被转换成一系列 Map Reduce jobs.I 我不是在谈论在 Hive 中调用外部脚本。
是否存在不需要 reduce 作业且 Hive 可以通过 Map 作业本身获得结果的情况。
你有什么想法？
是的。这仅取决于您的工作类型 运行。
例如，如果您的员工 table 具有模式（姓名、ID、部门）。
以下查询运行仅地图作业。 Mapper 从 hive table 接收 (Name, id, department) 作为值，并发出 Name , Nullwritable 。
因此在这种情况下我们不需要减速器。
select Name from employee;
我最近遇到一个问题
Will all Hive queries be converted into map and reduce jobs?
我知道 Hive 查询被转换成一系列 Map Reduce jobs.I 我不是在谈论在 Hive 中调用外部脚本。 是否存在不需要 reduce 作业且 Hive 可以通过 Map 作业本身获得结果的情况。
你有什么想法？
是的。这仅取决于您的工作类型 运行。
例如，如果您的员工 table 具有模式（姓名、ID、部门）。
以下查询运行仅地图作业。 Mapper 从 hive table 接收 (Name, id, department) 作为值，并发出 Name , Nullwritable 。 因此在这种情况下我们不需要减速器。
select Name from employee;