将 csv 文件导入 Qubole

Question

我正在使用 qubole 运行快速查询。

我需要将 csv 文件上传到我的查询中，但不知道如何执行此操作。

有没有人有这方面的经验？

更多细节，我在分析部分。

这是我目前根据@leftjoin 的回答得出的结果 -

use adhoc;
create external table adhoc.test(
  Media_Buy_Key string,
  Day string,
  DSP_Publisher string,
  Final_Media_Cost string
)
row format delimited
fields terminated by ','
lines terminated by '\n'
location 's3://bucket/folder/folder/file.csv/';

然后我运行配置单元查询，结果显示为 [Empty]

这是我的 s3 存储桶的样子：

Answer 1

Presto 使用 Hive Metastore 获取 table 信息及其数据位置。

将文件上传到某个 S3 位置。实际上，S3 没有位置，它们是使用包含“/”的文件名模拟的。使用 Qubole S3 接口上传文件。比如说，进入s3://your-bucket-name/your-location/yourfile.csv这里的位置是s3://your-bucket-name/your-location。如果文件已经在 s3 中，您可以使用 aws s3 cp 命令将其复制到新位置。
使用 Hive 在文件位置之上创建 table。

use your_schema; create external table test( col1 string, col2 string, ... coln type ) row format delimited fields terminated by ',' lines terminated by '\n' location 's3://your-bucket-name/your-location/'; 检查它在 Hive 中是否有效：

select * from your_schema.test limit 10;

使用 Presto 查询您的 table

select * from your_schema.test limit 10;

将 csv 文件导入 Qubole

Import csv file into Qubole

csv

import

create-table

qubole

hiveddl