使用带有气流的 s3_to_snowflake 运算符,我们需要一个内部阶段吗?
Using s3_to_snowflake operator with airflow, do we need an internal stage?
我正在努力将一些 ETL 迁移到气流上,并计划使用 S3 to snowflake 运算符复制到雪花中:https://airflow.apache.org/docs/apache-airflow-providers-snowflake/stable/_api/airflow/providers/snowflake/transfers/s3_to_snowflake/index.html
目前我们执行标准,将文件放入雪花内部暂存区,然后将文件复制到我们的目标 table,但是如果我将其迁移到 S3,然后在 DAG 中使用此运算符复制到目标 table,是否有任何理由使用内部暂存 table?最佳实践原因,或任何其他原因?
根据雪花文档,S3 充当外部舞台并使用从那里复制到 SNOWFLAKE table。但是,如果您的业务案例需要更多的阶段,那么您可以按照文档进行操作。为我们使用一层外部分期效果很好。
https://docs.snowflake.com/en/user-guide/data-load-s3-copy.html
我正在努力将一些 ETL 迁移到气流上,并计划使用 S3 to snowflake 运算符复制到雪花中:https://airflow.apache.org/docs/apache-airflow-providers-snowflake/stable/_api/airflow/providers/snowflake/transfers/s3_to_snowflake/index.html
目前我们执行标准,将文件放入雪花内部暂存区,然后将文件复制到我们的目标 table,但是如果我将其迁移到 S3,然后在 DAG 中使用此运算符复制到目标 table,是否有任何理由使用内部暂存 table?最佳实践原因,或任何其他原因?
根据雪花文档,S3 充当外部舞台并使用从那里复制到 SNOWFLAKE table。但是,如果您的业务案例需要更多的阶段,那么您可以按照文档进行操作。为我们使用一层外部分期效果很好。
https://docs.snowflake.com/en/user-guide/data-load-s3-copy.html