从 snowpipe 连续数据加载设置之前加载

Load from before snowpipe continous data load setup

我设置了 snowpipe 以从 S3 存储桶持续加载表中的数据。现在已经 运行 大约一个月了(即 > 14 天)。存储桶中有设置 snowpipe 之前的数据,我们还需要将这些文件加载​​到 snowflake 中。 Snowpipe 显然只保留复制历史数据 14 天。识别尚未摄取到表中的文件并批量导入它们的好方法是什么?

你试过下面的视图吗

SNOWFLAKE.ACCOUNT_USAGE.COPY_HISTORY。它存储来自复制到命令以及雪管负载历史的过去一年的负载历史数据

获取使用 snowpipe 加载的文件列表,然后您可以计划所有剩余的文件加载。

请同时查看有关延迟的使用说明

https://docs.snowflake.com/en/sql-reference/account-usage/copy_history.html