如何使用 Google 个桶作为 Snowflake Spark 连接器中的外部阶段位置?
How to use Google Buckets as an External Stage location in the Snowflake Spark Connector?
我想使用 Snowflake Spark Connector 从客户端的 Snowflake 实例中导出数据。
我遇到的问题是客户与我共享的帐户只有 Reader 访问权限,因此我无法使用 Snowflake Spark 连接器因为我的工作在阶段创建步骤期间失败,因为我无权在客户端的 Snowflake 实例上创建内部阶段。
我从这个 Blog (Step 4, Configuration of the staging area for the connector in AWS S3) 中发现您可以配置一个 外部舞台位置 ,例如可以是我自己的帐户。因此,我不需要对客户端的 Snowflake 实例进行任何额外访问。
唯一的问题是我使用 Google Cloud Storage 而不是 AWS S3。我找不到说明如何使用 Google 存储桶作为外部存储的文档。
Here I find docs on how to provide custom AWS Credentials。
其中说我需要提供以下参数:
- awsAccessKey
- awsSecretKey
- 临时目录
我需要帮助来弄清楚要配置哪些选项以使用Google 云存储作为外部舞台位置。
你有没有看过:
https://docs.snowflake.net/manuals/user-guide/data-load-gcs.html
https://docs.snowflake.net/manuals/user-guide/data-load-considerations.html and https://docs.snowflake.net/manuals/user-guide/data-load-prepare.html
根据我收集到的信息,您必须注册预览功能才能在您的 Snowflake 帐户上启用它。
- 为 Google 云存储设置集成,
- 然后从存储桶或@stage 文件中复制数据
有关更多详细信息,请查看:https://docs.snowflake.net/manuals/user-guide/data-load-gcs.html
让我知道进展如何,我很乐意跟进!
其他有用的问题:
Load data from bucket google cloud
虽然 Apache Hadoop(以及扩展的 Apache Spark)云存储连接器现在通过 gs://
URL 和 associated configuration, Snowflake's Spark Connector does not yet support 使用 [=] 支持 Google 云存储14=] Cloud 在发布时用于云存储操作。
我想使用 Snowflake Spark Connector 从客户端的 Snowflake 实例中导出数据。
我遇到的问题是客户与我共享的帐户只有 Reader 访问权限,因此我无法使用 Snowflake Spark 连接器因为我的工作在阶段创建步骤期间失败,因为我无权在客户端的 Snowflake 实例上创建内部阶段。
我从这个 Blog (Step 4, Configuration of the staging area for the connector in AWS S3) 中发现您可以配置一个 外部舞台位置 ,例如可以是我自己的帐户。因此,我不需要对客户端的 Snowflake 实例进行任何额外访问。
唯一的问题是我使用 Google Cloud Storage 而不是 AWS S3。我找不到说明如何使用 Google 存储桶作为外部存储的文档。
Here I find docs on how to provide custom AWS Credentials。 其中说我需要提供以下参数:
- awsAccessKey
- awsSecretKey
- 临时目录
我需要帮助来弄清楚要配置哪些选项以使用Google 云存储作为外部舞台位置。
你有没有看过: https://docs.snowflake.net/manuals/user-guide/data-load-gcs.html https://docs.snowflake.net/manuals/user-guide/data-load-considerations.html and https://docs.snowflake.net/manuals/user-guide/data-load-prepare.html
根据我收集到的信息,您必须注册预览功能才能在您的 Snowflake 帐户上启用它。
- 为 Google 云存储设置集成,
- 然后从存储桶或@stage 文件中复制数据
有关更多详细信息,请查看:https://docs.snowflake.net/manuals/user-guide/data-load-gcs.html
让我知道进展如何,我很乐意跟进!
其他有用的问题:
Load data from bucket google cloud
虽然 Apache Hadoop(以及扩展的 Apache Spark)云存储连接器现在通过 gs://
URL 和 associated configuration, Snowflake's Spark Connector does not yet support 使用 [=] 支持 Google 云存储14=] Cloud 在发布时用于云存储操作。