Snowflake 不接受批量加载的文件格式

Question

我正在为我们的数据管道创建一些新的 ETL 任务。我们目前有数百个来自各种 S3 存储桶的加载数据。

所以它会像这样：

create or replace stage ETL_STAGE url='s3://bucketname/'
  file_format = csv_etl;

create or replace file format csv_etl
  type = 'CSV'
  field_delimiter = ','
  skip_header = 1
  FIELD_OPTIONALLY_ENCLOSED_BY='"'

copy into db.schema.table
  from @ETL_STAGE/Usage
  pattern='/.*[.]csv'
  on_error = 'continue'

但是，每当我使用它时，我的文件格式不仅不会转义封闭的双引号，甚至不会跳过 header 所以我得到这个：

对此感到非常困惑，因为我 99% 确定这里的格式选项是正确的。

+-------------------+----------+----------------+---------------------+-------------------+
| "Usage Task Name" |  "Value" |  "etl_uuid"    | "etl_deviceServer"  |  "etl_timestamp"  |
| "taskname"        |  "0"     | "adfasdfasdf"  | "hostserverip"      | "2020-04-06 2124" |
+-------------------+----------+----------------+---------------------+-------------------+

Answer 1

运行下面的命令包括 file_format。这在加载文件时应用了文件格式：

  copy into db.schema.table
  from @ETL_STAGE/Usage
  pattern='/.*[.]csv'
  on_error = 'continue'
  file_format = csv_etl;

Snowflake 不接受批量加载的文件格式

Snowflake Not Accepting File Format In Bulk Load

etl

snowflake-schema

snowflake-task