AWS Glue 等效于 EMRFS 角色映射
AWS Glue equivalent of EMRFS role mappings
在 EMR 中,您可以指定 read/write S3 将根据 S3 URL 通过 EMRFS 角色映射承担不同的 IAM 角色。这对于从同一账户中的存储桶读取并写入另一个账户中的存储桶的用例特别有用——EMRFS 允许您指定使用不同的角色进行读写操作,并且角色可以在不同的帐户。 avoiding this scenario
这简化了在另一个帐户中写入对象时的处理权限
Glue 作业的等效项是什么?看起来我只能为整个工作授予一个角色,而且我没有看到为不同的 S3 buckets/prefixes 承担不同角色的方法。 Glue 中有安全配置,与 EMR 一样,但看起来这些仅支持加密选项。
Glue 中没有这样的东西。
但是,EMRFS 角色映射现在不那么重要了,因为 S3 支持 assuming object ownership。
EMRFS 的主要用途是在写入操作时承担与存储桶所有者相同的帐户中的角色,以确保创建的对象归存储桶所有者所有。
现在,您只需将跨账户权限授予 read/write 存储桶,将 S3“对象所有权”配置设置为“优先存储桶所有者”,并将客户端设置为“存储桶所有者完全控制” " 新对象的 ACL。后者可以通过Spark会话完成。
在 EMR 中,您可以指定 read/write S3 将根据 S3 URL 通过 EMRFS 角色映射承担不同的 IAM 角色。这对于从同一账户中的存储桶读取并写入另一个账户中的存储桶的用例特别有用——EMRFS 允许您指定使用不同的角色进行读写操作,并且角色可以在不同的帐户。 avoiding this scenario
这简化了在另一个帐户中写入对象时的处理权限Glue 作业的等效项是什么?看起来我只能为整个工作授予一个角色,而且我没有看到为不同的 S3 buckets/prefixes 承担不同角色的方法。 Glue 中有安全配置,与 EMR 一样,但看起来这些仅支持加密选项。
Glue 中没有这样的东西。
但是,EMRFS 角色映射现在不那么重要了,因为 S3 支持 assuming object ownership。
EMRFS 的主要用途是在写入操作时承担与存储桶所有者相同的帐户中的角色,以确保创建的对象归存储桶所有者所有。
现在,您只需将跨账户权限授予 read/write 存储桶,将 S3“对象所有权”配置设置为“优先存储桶所有者”,并将客户端设置为“存储桶所有者完全控制” " 新对象的 ACL。后者可以通过Spark会话完成。