Prestosql查询不同S3兼容对象存储的方法

How to query different S3-compatible object storage by Prestosql

背景

prestosql 在 S3 和 S3 兼容对象存储(例如,IBM 云对象存储)上使用 URI 前缀 s3a:// 和 S3 配置以及通过 hive.s3.aws-access-key 和单个 HMAC 密钥对时,prestosql 可以很好地处理数据hive.s3.aws-secret-key 遵循 prestosql 指南 Amazon S3 Configuration - Hive Connector

问题

当数据在两个云帐户的两个不同存储桶中提供时,这意味着客户端必须使用两个不同的 HMAC 密钥对来访问对象。这是否意味着它必须通过 prestosql 中的配置单元连接器配置两个目录?

这是使用 IBM 云时的常见情况,其中对象存储服务作为不同云帐户的实例进行管理。

是的,您需要配置两个单独的配置单元目录。

或者,您可以使用 client-provided 额外的凭据(GCS 现在支持此功能,但可以轻松扩展到 S3 兼容)。