如何加快从本地到内部阶段的 SnowSQL 文件导入

Question

我有大约 200 个 json 文件需要从本地导入到 4 个内部阶段（每个 50 个文件到 1 个内部阶段），每个文件大约 125 MB。

我是否可以通过 CMD 使用并行 snowsql 实例将这些文件并行发送到不同的阶段？另外，如果我增加仓库大小，速度会有什么不同吗？ TIA

Answer 1

有几个因素需要考虑：

1. SnowSQL 将为您压缩每个文件（如果尚未压缩），这会在执行 PUT 命令的计算机上占用 CPU。如果文件已经压缩，您需要将 AUTO-COMPRESS 参数指定为 FALSE.
2. PUT 命令确实有一个可以使用的 PARALLEL 参数，但我通常建议这不超过您所在机器上可用的线程数 运行 PUT 命令来自.
3. 您在 Snowflake 中的仓库大小不会影响 PUT 命令的速度。它根本不参与这个过程。
4. 如果您有超过 1 台机器可以访问您的所有文件，您可以通过在多台机器上执行单独的 PUT 命令来提高并行度。在您的情况下，总共可能有 4 台机器是有意义的。但是，在某些时候，您会受到网络连接带宽量的限制。