如何基于 S3 分区数据在雪花中创建外部 table

Question

我有一个 s3 URL 作为 s3://Sales//region。

我在区域文件夹中有日期桶：

参考日期=2022-02-26， refdate=2022-02-25 和 refdate=2022-02-24

如何在 snowflake 中创建一个外部 table 分区作为参考日期文件夹？到目前为止我尝试了什么：

Create external table sales (..)
PARTITION BY refdate
with location = @sales_stage/region/
file_format = COMP_ap
aws_sns_topic='arn:aws:sns:us-west38:snowflake-dev-SNS'
auto_refresh = true ;

谢谢，

习

Answer 1

create stage s2
  url='s3://Sales//region/'
  ...
  ;

create external table et1(
 date_part date as to_date(split_part(metadata$filename, '-', 3)
   || '/' || split_part(metadata$filename, '-', 4)
   || '/' || split_part(metadata$filename, '-', 5), 'YYYY/MM/DD'),
 timestamp bigint as (value:timestamp::bigint),
 partition by (date_part)
 location=@s2
 auto_refresh = true
 aws_sns_topic = 'arn:aws:sns:us-west38:snowflake-dev-SNS';

查看雪花文档here

如何基于 S3 分区数据在雪花中创建外部 table

How to Create external table in snowflake based on S3 partitioned data

amazon-s3

snowflake-cloud-data-platform