Hive：为现有文件夹结构添加分区

Question

我在 HDFS 中有一个如下所示的文件夹结构。但是，实际上没有使用 ALTER TABLE ADD PARTITION 命令在 table 上创建分区，即使文件夹结构被设置为好像 table 有分区。

如何自动将所有分区添加到 Hive table？（配置单元 1.0，外部 table）

/user/frank/clicks.db
  /date=20190401
    /file0004.csv
  /date=20190402
    /file0009.csv
  /date=20190501
    /file0000.csv
    /file0001.csv
...etc

Answer 1

使用 msck 修复 table 命令：

MSCK [REPAIR] TABLE tablename;

或

ALTER TABLE tablename RECOVER PARTITIONS;

如果您是运行 EMR 上的 Hive。

在此处阅读有关这两个命令的更多详细信息：RECOVER PARTITIONS

Hive：为现有文件夹结构添加分区

Hive: Add partitions for existing folder structure

hadoop

hive

partitioning

hdfs

hive-partitions