有没有办法减少雪管加载时间？

Question

我正在读这个 User Guide，它提到“通常”snowpipe 需要 1 分钟来加载数据。在我的实验中，我发现它总是需要一分钟。这 1 分钟的延迟来自哪里？感觉每分钟都在进行一些批处理。有没有什么地方可以进一步降低它的设置。

Answer 1

到今天为止，还没有任何设置可以减少这种延迟 - 您实际上是在逐分钟进行微批处理。

如果您想更频繁地更新，最好的选择是保留一个仓库 运行 并向其提交 UPDATE 或 COPY 查询。

如果您不需要 sub-minute 延迟，您应该使用 Snowpipe 并可能使用 Kinesis Firehose 之类的工具将记录批量放入单个文件中，该文件每分钟放入一次 S3。