如何获取 hdfs 中的 hive table 输出或文本文件，其中 hive table 在其上创建为 .CSV 格式。

Question

所以我正在处理的集群存在一种情况。什么都不能从簇中取出到 linux 框。

构建hivetable的文件为序列文件格式或文本格式。

我需要将这些文件更改为 CSV 格式而不将它们输出到 linux 框，我还可以从现有的 table 创建 table 如果可能的话可以将其存储为 CSV 文件. （我不确定我是否能做到）。

我已经尝试了很多东西..但是除非我把它输出到 linux 框，否则做不到。感谢任何帮助。

Answer 1

您可以像这样创建另一个配置单元 table：

CREATE TABLE hivetable_csv ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' as 
select * from hivetable;

然后将table内容复制到新目录

hadoop fs -cat /user/hive/warehouse/csv_dump/* | hadoop fs -put - /user/username/hivetable.csv

或者，您也可以试试

hadoop fs -cp

How to get the hive table output or text file in hdfs on which hive table created to .CSV format.