来自 Spark / Dataframes 的 AWS SSE-KMS 加密

Question

我已经配置了启用加密的 EMR 集群（emrfs 中的属性-site.xml） 我正在使用数据帧 savemode.append 写入 S3n://my-bucket/path/ 保存在 s3 中。

但我看不到正在对 AWS KMS 进行加密的对象。 但是，当我从 EMR 的配置单元中进行简单插入时，我能够看到对象得到 aws kms 加密。

如何使用 sse kms 从 S3 中的数据帧加密文件？

Answer 1

问题是我们使用 s3a 将文件从 spark 程序保存到 EMR。 AWS 官方不支持在 EMR 上使用 s3a。虽然我们能够在 S3 中保存数据，但它并未对数据进行加密。我尝试使用 s3:// 和 s3n:// 加密适用于两者。