从 Lambda 连接 Snowflake 的会话

Question

我正在 python 中开发一个 AWS Lambda，它将由 API 网关触发，lambda 将连接我的雪花。我将通过 API 网关处理一些 CSV 文件，以从雪花中获取一些数据。目前我正在使用 Python 连接器连接 Snowflake。

我的问题是，如果我的 csv 有 100 条记录，那么它会递归地处理记录，并且每次都会从 lambda 连接雪花来处理每条记录及其对性能的影响。

有没有什么方法或机制可以让lambda在一定时间内创建会话并在单个连接中处理所有记录。

Answer 1

据我所知，connect()会自动创建一个持续一段时间的会话。连接后，您可以使用光标执行多个命令，而无需每次都调用 connect()。文档 here。但我猜你知道这一点，你想要的是一个命令，而不是调用多个 INSERT.

这也是可能的，使用 STAGE 和 COPY INTO 命令而不是 INSERT。您可以从 Snowflake 文档中找到有关从 AWS S3 here.

批量加载的示例