在没有 map reduce 的情况下从 Hive 读取 table

Read table from Hive without map reduce

如何在没有 map reduce 的情况下读取 Hive?我正在尝试从 Hive 上创建的 table 中读取列,但我不希望 map 减少存在的开销。基本上,我想在没有开销的情况下从 Hive 上创建的 table 中检索值,并以最快的方式获取它们。

您可以使用 Tez 或 Spark 作为 Hive 中的执行引擎,而不是 MapReduce。

参见Hive Configuration Properties中的hive.execution.engine

也有相当多的 SQL 引擎与 hive 元数据兼容,例如 Presto、Spark SQL、Impala。

通常,如果您在 hive mapreduce 中执行 "select *from" 和 table,则不会 运行..

在您的情况下,您是否只使用来自配置单元 table 的 select 列,而且 mapreduce 不会 运行。

或者您可以在主 table 上创建一个具有所需列和行数的子 table,然后在 table 上执行 select *。