如何克服Snowflake Varchar(16,777,216)加载图片数据的限制
How to overcome limitation of Snowflake Varchar (16,777,216) to load image data
我们有一个方案可以从作为我们源的 SQL 服务器加载图像列并加载到 Snowflake 中,但由于 Snowflake 具有 Varchar 限制而导致“String Long Issue”而失败。
到现在为止,我们也尝试过使用 Varchar 和 Variant 数据类型来加载此 Image 数据类型,但由于其巨大的尺寸,它也无法加载 Variant(Snowflake 试图将其读取为 JSON ,这就是为什么我们也尝试过变体)。
有什么方法可以克服雪花中 Varchar 数据类型长度的限制。
您需要将其作为非结构化数据处理,这是最近发布的 public 预览版。
https://www.snowflake.com/blog/snowflake-launches-unstructured-data-support-in-public-preview/
这显示了如何开始:
https://docs.snowflake.com/en/user-guide/unstructured-intro.html
如果您尝试了一些东西但它不起作用,您可以使用您正在尝试的代码更新您的问题,其他人可以尝试提供帮助。
我们有一个方案可以从作为我们源的 SQL 服务器加载图像列并加载到 Snowflake 中,但由于 Snowflake 具有 Varchar 限制而导致“String Long Issue”而失败。
到现在为止,我们也尝试过使用 Varchar 和 Variant 数据类型来加载此 Image 数据类型,但由于其巨大的尺寸,它也无法加载 Variant(Snowflake 试图将其读取为 JSON ,这就是为什么我们也尝试过变体)。
有什么方法可以克服雪花中 Varchar 数据类型长度的限制。
您需要将其作为非结构化数据处理,这是最近发布的 public 预览版。
https://www.snowflake.com/blog/snowflake-launches-unstructured-data-support-in-public-preview/
这显示了如何开始:
https://docs.snowflake.com/en/user-guide/unstructured-intro.html
如果您尝试了一些东西但它不起作用,您可以使用您正在尝试的代码更新您的问题,其他人可以尝试提供帮助。