Prestosql查询不同S3兼容对象存储的方法
How to query different S3-compatible object storage by Prestosql
背景
prestosql 在 S3 和 S3 兼容对象存储(例如,IBM 云对象存储)上使用 URI 前缀 s3a://
和 S3 配置以及通过 hive.s3.aws-access-key
和单个 HMAC 密钥对时,prestosql 可以很好地处理数据hive.s3.aws-secret-key
遵循 prestosql 指南 Amazon S3 Configuration - Hive Connector。
问题
当数据在两个云帐户的两个不同存储桶中提供时,这意味着客户端必须使用两个不同的 HMAC 密钥对来访问对象。这是否意味着它必须通过 prestosql 中的配置单元连接器配置两个目录?
这是使用 IBM 云时的常见情况,其中对象存储服务作为不同云帐户的实例进行管理。
是的,您需要配置两个单独的配置单元目录。
或者,您可以使用 client-provided 额外的凭据(GCS 现在支持此功能,但可以轻松扩展到 S3 兼容)。
背景
prestosql 在 S3 和 S3 兼容对象存储(例如,IBM 云对象存储)上使用 URI 前缀 s3a://
和 S3 配置以及通过 hive.s3.aws-access-key
和单个 HMAC 密钥对时,prestosql 可以很好地处理数据hive.s3.aws-secret-key
遵循 prestosql 指南 Amazon S3 Configuration - Hive Connector。
问题
当数据在两个云帐户的两个不同存储桶中提供时,这意味着客户端必须使用两个不同的 HMAC 密钥对来访问对象。这是否意味着它必须通过 prestosql 中的配置单元连接器配置两个目录?
这是使用 IBM 云时的常见情况,其中对象存储服务作为不同云帐户的实例进行管理。
是的,您需要配置两个单独的配置单元目录。
或者,您可以使用 client-provided 额外的凭据(GCS 现在支持此功能,但可以轻松扩展到 S3 兼容)。