删除空 Impala 个分区
Drop empty Impala partitions
Impala 外部 table 分区在删除 HDFS 中的数据并更改(如 ALTER TABLE table RECOVER PARTITIONS
)刷新后仍显示在行数为 0 的统计信息中(REFRESH table
)和元数据失效。
尝试一个一个地删除分区是可行的,但是有数十个分区需要删除,这将非常繁琐。
删除并重新创建 table 也是一个选项,但那样一来,所有统计数据都会与 table 一起删除。
在 impala 中是否有任何其他选项可以完成此操作?
通过 HIVE 找到了解决方法。
通过发出 MSCK REPAIR TABLE tablename SYNC PARTITIONS
然后刷新 impala 中的 table,空分区消失。
Impala 外部 table 分区在删除 HDFS 中的数据并更改(如 ALTER TABLE table RECOVER PARTITIONS
)刷新后仍显示在行数为 0 的统计信息中(REFRESH table
)和元数据失效。
尝试一个一个地删除分区是可行的,但是有数十个分区需要删除,这将非常繁琐。
删除并重新创建 table 也是一个选项,但那样一来,所有统计数据都会与 table 一起删除。
在 impala 中是否有任何其他选项可以完成此操作?
通过 HIVE 找到了解决方法。
通过发出 MSCK REPAIR TABLE tablename SYNC PARTITIONS
然后刷新 impala 中的 table,空分区消失。