为分区数据定义 Impala table 模式

Question

数据框以 parquet 格式存储，并根据文件系统结构中一个或多个列的值在不同文件上进行物理分区，如下所示：

|-region=Europe
|   |-processed=1
|   |   |-part-r-00000-0515bd21-1cf1-40f1-885e-055a29284961.gz.parquet
|   |-processed=2
|   |   |-part-r-00000-0515bd21-1cf1-40f1-885e-055a29284961.gz.parquet
|   |-processed=3
|   |   |-part-r-00000-0515bd21-1cf1-40f1-885e-055a29284961.gz.parquet
|   |-processed=4
|       |-part-r-00000-0515bd21-1cf1-40f1-885e-055a29284961.gz.parquet
|-region=Asia
|   |-processed=2
|   |   |-part-r-00000-0515bd21-1cf1-40f1-885e-055a29284961.gz.parquet
|   |-processed=4
|       |-part-r-00000-0515bd21-1cf1-40f1-885e-055a29284961.gz.parquet
|-region=America
|   |-processed=3
|       |-part-r-00000-0515bd21-1cf1-40f1-885e-055a29284961.gz.parquet
|-_SUCCESS

为了让模式知道分区，我手动添加了每个分区：

ALTER TABLE status_log ADD PARTITION (region='Europe', processed="1") LOCATION '/hdfs/status_logs/region=Europe/processed=1';
ALTER TABLE status_log ADD PARTITION (region='Europe', processed="2") LOCATION '/hdfs/status_logs/region=Europe/processed=2';
ALTER TABLE status_log ADD PARTITION (region='Europe', processed="4") LOCATION '/hdfs/status_logs/region=Europe/processed=2';
...
..
.

有没有办法定义 table 模式，这样 Impala 它将读取树目录结构并自动推断分区模式？还是总是需要将每个分区自动添加到 table？

Answer 1

ALTER TABLE ... RECOVER PARTITIONS, which is not yet documented.

Answer 2

您可以使用配置单元，因为 impala 共享同一个 Metastore，这应该不是问题。我假设在 talbe status_logs 的定义中，LOCATION 设置为 '/hdfs/status_logs'.

在配置单元中发出命令

msck repair table status_logs

这会自动将所有分区添加到 Metastore。然后返回 impala ，您需要做的就是

invalidate metadata status_logs

您可以看到所有分区。验证你能做到（这你可能已经知道）。

show partitions status_logs

为分区数据定义 Impala table 模式

Defining an Impala table schema for partitioned data

sql

database-schema

impala

pyspark