如果我在移动 table 之前移动 Hive table 数据文件会怎样?
What happens if I move Hive table data files before moving the table?
我正在尝试将 table 的位置移动到新目录。假设原始位置是 /data/dir
。例如,我正在尝试这样的事情:
hadoop fs -mkdir /data/dir_bkp
hadoop fs -mv /data/dir/* /data/dir_bkp
然后我执行配置单元命令,例如:
ALTER TABLE db.mytable RENAME TO db.mytable_bkp;
ALTER TABLE db.mytable_bkp SET LOCATION /data/dir_bkp;
在更改 table 的位置之前移动目录文件是否可以?在我 运行 这些命令之后, table mytable_bkp
会像以前一样填充吗?
执行完mv
命令后,原来的table会变空。因为 mv 删除了数据文件。
重命名后 table,它是空的,因为它的位置是空的。
执行 ALTER TABLE SET LOCATION
之后 - table 是空的,因为分区被安装到旧位置(现在是空的)。很抱歉之前在这一步误导了您。重命名后table,分区保持重命名前的状态。每个分区通常可以在 table 位置之外拥有自己的位置。
如果 table 是 MANAGED,将其设置为 EXTERNAL:
alter table table_name SET TBLPROPERTIES('EXTERNAL'='TRUE');
现在删除 table + 使用新位置创建 table 和 运行 MSCK 以创建分区:
MSCK [REPAIR] TABLE tablename;
如果您使用的是 Amazon EMR,运行
ALTER TABLE tablename RECOVER PARTITIONS;
而不是 MSCK
我正在尝试将 table 的位置移动到新目录。假设原始位置是 /data/dir
。例如,我正在尝试这样的事情:
hadoop fs -mkdir /data/dir_bkp
hadoop fs -mv /data/dir/* /data/dir_bkp
然后我执行配置单元命令,例如:
ALTER TABLE db.mytable RENAME TO db.mytable_bkp;
ALTER TABLE db.mytable_bkp SET LOCATION /data/dir_bkp;
在更改 table 的位置之前移动目录文件是否可以?在我 运行 这些命令之后, table mytable_bkp
会像以前一样填充吗?
执行完mv
命令后,原来的table会变空。因为 mv 删除了数据文件。
重命名后 table,它是空的,因为它的位置是空的。
执行 ALTER TABLE SET LOCATION
之后 - table 是空的,因为分区被安装到旧位置(现在是空的)。很抱歉之前在这一步误导了您。重命名后table,分区保持重命名前的状态。每个分区通常可以在 table 位置之外拥有自己的位置。
如果 table 是 MANAGED,将其设置为 EXTERNAL:
alter table table_name SET TBLPROPERTIES('EXTERNAL'='TRUE');
现在删除 table + 使用新位置创建 table 和 运行 MSCK 以创建分区:
MSCK [REPAIR] TABLE tablename;
如果您使用的是 Amazon EMR,运行
ALTER TABLE tablename RECOVER PARTITIONS;
而不是 MSCK