Hive LLAP 不适用于 Parquet 格式

Hive LLAP doesn't work with Parquet format

finding out Hive LLAP之后,我很想用

我启动了启用了 LLAP 的 Azure HDinsight 集群。但是,它似乎并不比普通的 Hive 好多少。我将数据存储在 Parquet 文件中。我只看到 LLAP 相关文档或谈话中提到的 ORC 文件。

是否也支持Parquet格式?

回答我自己的问题。

我们联系了 Azure 支持。 Hive LLAP 仅适用于 ORC 文件格式(截至 05.2017)。

因此,对于 Parquet,我们要么必须使用 Apache Impala 进行快速交互式查询 (https://impala.incubator.apache.org) 作为 LLAP 的替代方案,要么将存储的文件格式更改为 ORC。

更新:这是目前正在进行的工作,下一个版本的 HDP 将不再如此。从 HDP 3.0 开始。 LLAP 将支持 Parquet 文件格式的缓存。此更新应在 3.0 发布后不久流入 HDInsights。