如何从 apache drill 生成 psv 文件

Question

我目前创建竖线分隔值 (psv) 文件的方法是首先创建一个带有查询的视图，例如

创建视图 ABC 为 select 第 1 列 || '|' ||第 2 栏 || '|' || ..

然后使用 !record 从 ABC 做一个 select *。

这会导致大量开发时间并且容易出错，因为我需要生成的文件有 100 列。

有解决这个问题的简单方法吗？

Answer 1

在您的存储插件中创建自定义格式。这是文档 https://drill.apache.org/docs/plugin-configuration-basics/

"formats": {
"psv": {
  "type": "text",
  "extensions": [
    "tbl"
  ],
  "delimiter": "|"
 }
}

更改会话以设置默认商店

alter session set `store.format`='psv';

使用CTAS写入上述指定格式的数据

create table `users.vgunnu`.`vt_del_test` as select * from dfs.root.`/tmp/test_parquet` limit 3;

How to generate a psv file from apache drill