Pyspark 数据帧从一个桶中读取并在同一作业中使用不同的 KMS 密钥写入另一个桶
Pyspark dataframe read from one bucket and write to another bucket with different KMS keys in same job
需要很少的帮助来为我的以下用例找到更好的解决方案。
我有包含输入数据的 S3 存储桶，它使用 KMS KEY 1
加密
所以我可以使用 "spark.hadoop.fs.s3.serverSideEncryption.kms.keyId"
将 KMS KEY 1 设置到我的 spark 会话
并且能够读取数据，
现在我想将数据写入另一个 S3 存储桶，但它是使用 KMS KEY 2*
加密的
所以我目前正在做的是，使用 Key1 创建 spark 会话并读取数据帧并将其转换为 Pandas 数据帧并终止 spark 会话并使用相同的 AWS glue 作业重新创建 spark 会话使用 KMS KEY2 并将在上一步中创建的 pandas 数据转换为 spark 数据帧并写入输出 S3 存储桶。
但这种方法有时会导致数据类型问题。是否有更好的替代解决方案可用于处理此用例？
在此先致谢，非常感谢您的帮助。
您无需声明使用什么密钥来解密使用 S3-KMS 加密的数据；要使用的 keyID 作为属性附加到文件。 AWS S3 读取加密设置，查看密钥 ID，将 KMS 加密的对称密钥发送到 AWS KMS，要求使用要求解密的 user/IAM 角色对其进行解密。如果 user/role 具有正确的权限，S3 将取回未加密的密钥，解密文件并 returns 它。
要从使用 KMS-1 加密的存储桶中读取数据，您应该能够将密钥设置为 key2 值（或者根本不加密），并且仍然可以取回数据
免责声明：我没有用 EMR s3 连接器测试过这个，只是 apache S3A 一个，但由于 S3-KMS 在任何地方都一样工作，我希望它能成立。使用客户端提供的密钥 S3-CSE 进行加密是另一回事。您确实需要正确配置客户端，这就是 S3A 支持按桶配置的原因。
需要很少的帮助来为我的以下用例找到更好的解决方案。
我有包含输入数据的 S3 存储桶，它使用 KMS KEY 1
加密所以我可以使用 "spark.hadoop.fs.s3.serverSideEncryption.kms.keyId"
并且能够读取数据，
现在我想将数据写入另一个 S3 存储桶，但它是使用 KMS KEY 2*
加密的所以我目前正在做的是，使用 Key1 创建 spark 会话并读取数据帧并将其转换为 Pandas 数据帧并终止 spark 会话并使用相同的 AWS glue 作业重新创建 spark 会话使用 KMS KEY2 并将在上一步中创建的 pandas 数据转换为 spark 数据帧并写入输出 S3 存储桶。
但这种方法有时会导致数据类型问题。是否有更好的替代解决方案可用于处理此用例？
在此先致谢，非常感谢您的帮助。
您无需声明使用什么密钥来解密使用 S3-KMS 加密的数据；要使用的 keyID 作为属性附加到文件。 AWS S3 读取加密设置，查看密钥 ID，将 KMS 加密的对称密钥发送到 AWS KMS，要求使用要求解密的 user/IAM 角色对其进行解密。如果 user/role 具有正确的权限，S3 将取回未加密的密钥，解密文件并 returns 它。
要从使用 KMS-1 加密的存储桶中读取数据，您应该能够将密钥设置为 key2 值（或者根本不加密），并且仍然可以取回数据
免责声明：我没有用 EMR s3 连接器测试过这个，只是 apache S3A 一个，但由于 S3-KMS 在任何地方都一样工作，我希望它能成立。使用客户端提供的密钥 S3-CSE 进行加密是另一回事。您确实需要正确配置客户端，这就是 S3A 支持按桶配置的原因。