雪花 return 错误 "Number of auto-ingest pipes on location <bucket name> cannot be greater than allowed limit: 50000"

Question

我有一个 lambda 函数，每天几次将数据加载到 AWS GLUE table，然后在最后，它在雪花上创建一个外部 table。该功能 运行 一段时间没问题，但现在开始 return 这个错误时不时地出现在我身上： Number of auto-ingest pipes on location <bucket name> cannot be greater than allowed limit: 50000

创建 table sql 如下所示：

create or replace external table table_name(
row_id STRING as (value:row_id::string), 
created TIMESTAMP as (value:created::timestamp)
...
) with location = @conformedstage/table_name/ file_format = (type = parquet);

我用谷歌搜索了这个问题，几乎所有的答案都提到了 sonwpipe，但是，它根本不使用 snowpipe。

欢迎提出任何想法

Answer 1

当使用 auto_refresh 创建外部 table 时，Snowflake 会创建一个内部管道来处理事件，您可能有很多外部 table 使用同一个存储桶。

可以试试设置AUTO_REFRESH=false吗？

create or replace external table table_name(
row_id STRING as (value:row_id::string), 
created TIMESTAMP as (value:created::timestamp)
...
) with location = @conformedstage/table_name/ file_format = (type = parquet) auto_refresh=false;

https://docs.snowflake.com/en/sql-reference/sql/create-external-table.html