hive/impala 元数据刷新
hive/impala metadata refresh
当 Hive 中的分区位置发生变化时,REFRESH table
命令是否会刷新 Impala 中的元数据?
我正在使用
更改 Hive table 分区位置
ALTER TABLE db.table partition(key=value1, key2=value2) set location='path'
之后,我 运行ning REFRESH db.table
在 Impala 中 Impala 不更新元数据。如果我 运行 INVALIDATE METADATA
它正在工作。
有 Impala JIRA-4364 开放。然而,它自 2017 年以来一直处于产品积压状态,因此目前 INVALIDATE METADATA
是唯一的解决方法。
更新: 这已在 Impala 4.0 中修复(参见上面的相同 JIRA link)。
请确保加载到 Hive 分区实例后执行 msck 修复。
之后,您可以使 table 所在的数据库的元数据无效 Impala shell/UI
当 Hive 中的分区位置发生变化时,REFRESH table
命令是否会刷新 Impala 中的元数据?
我正在使用
更改 Hive table 分区位置ALTER TABLE db.table partition(key=value1, key2=value2) set location='path'
之后,我 运行ning REFRESH db.table
在 Impala 中 Impala 不更新元数据。如果我 运行 INVALIDATE METADATA
它正在工作。
有 Impala JIRA-4364 开放。然而,它自 2017 年以来一直处于产品积压状态,因此目前 INVALIDATE METADATA
是唯一的解决方法。
更新: 这已在 Impala 4.0 中修复(参见上面的相同 JIRA link)。
请确保加载到 Hive 分区实例后执行 msck 修复。
之后,您可以使 table 所在的数据库的元数据无效 Impala shell/UI