如何将 parquet 文件加载到配置单元 table

Question

我已经从 mysql 导入了 sqoop 并得到了一个 csv 文件。文件内容如下

1,KM,Skypark,null,2017-02-21 14:40:49.0,null
2,KM,null,null,2017-02-21 14:40:49.0,null
3,HD,null,null,2017-02-21 14:40:49.0,null
4,AB,SD,USA,2017-02-21 14:40:49.0,null
5,ABa,SaD,US,2017-02-21 14:40:49.0,null
6,DF,SDF,SF,2017-02-21 14:40:49.0,null
7,DF,SDF,SF,2017-02-21 14:41:44.0,null
8,DF,SDF,SF,2017-02-21 14:44:55.0,null
9,DF,SDF,SF,2017-02-21 14:47:59.0,null

现在，我已将相同的 sqoop 导入作为 parquet 文件。我得到一个扩展名为 .parquet 的文件。

我想使用 parquet 文件创建 table。我尝试了以下但它给了我不同的奇怪错误。

create external table test(id int, name string, address string, nation string, date string) row format delimited fields terminated by ',' stored as parquet;

load data inpath '/user/XXXXX/test' into table test;

如何让镶木地板 table 给我准确的结果作为 csv table。

Say I got a incremental data to the same folder where I stored the previous data. I got records for ID 10 and 11. Now when I load the data from the folder to the parquet table, I am getting the incremental data as first records and then the initial data.

我的意思是说 table 看起来像

10 ..............
11 ..............
 1 ..............
 2 ..............

这样我希望第一条记录在前，增量数据在最后

我们怎样才能做到这一点？

Answer 1

创建parquet表时不需要指定以下语句

row format delimited fields terminated by ','

只需指定存储为 parquet 就足够了

create external table test(id int, name string, address string, nation string, date string) stored as parquet location '/user/XXXXX/test';

如何将 parquet 文件加载到配置单元 table

How to load parquet file to a hive table

hive

sqoop

parquet