AWS 实例 distcp 到 s3 - 访问密钥
AWS instance distcp to s3 - Access keys
如果我创建了一个带有角色的 EC2 实例,获取访问密钥以执行从 hdfs 到 s3 的 distcp 的最佳实践方法是什么?
我不想使用我们的自动部署工具将访问密钥发送到实例,因为这意味着将密钥存储在众目睽睽之下。有没有办法让实例使用 CLI 请求一组密钥?
我需要 hadoop distcp /data s3n://<access_key>:<secret_key>@mybucket/baackup/data
当使用角色启动 Amazon EC2 实例时,实例将通过实例元数据服务获得对临时安全密钥的访问权限。它的工作原理如下:
- 在 Identity and Access Management (IAM)
中创建了一个 角色
- 已向角色授予适当的权限
- Amazon EC2 实例已启动,并选择了该角色。如果您使用 Amazon Elastic MapReduce (EMR) 启动实例,那么通常会为它们分配一个特定于 EMR 的角色(您可以修改
- 通过 URL
http://169.254.169.254/latest/meta-data/iam/security-credentials/
实例可以使用一组 临时安全凭证
调用 AWS SDK 的软件知道自动查看此 URL 以检索安全凭证。如果你用的软件没有自动看这个URL,你可以提取出来传给软件。
如果我创建了一个带有角色的 EC2 实例,获取访问密钥以执行从 hdfs 到 s3 的 distcp 的最佳实践方法是什么?
我不想使用我们的自动部署工具将访问密钥发送到实例,因为这意味着将密钥存储在众目睽睽之下。有没有办法让实例使用 CLI 请求一组密钥?
我需要 hadoop distcp /data s3n://<access_key>:<secret_key>@mybucket/baackup/data
当使用角色启动 Amazon EC2 实例时,实例将通过实例元数据服务获得对临时安全密钥的访问权限。它的工作原理如下:
- 在 Identity and Access Management (IAM) 中创建了一个 角色
- 已向角色授予适当的权限
- Amazon EC2 实例已启动,并选择了该角色。如果您使用 Amazon Elastic MapReduce (EMR) 启动实例,那么通常会为它们分配一个特定于 EMR 的角色(您可以修改
- 通过 URL
http://169.254.169.254/latest/meta-data/iam/security-credentials/
实例可以使用一组 临时安全凭证
调用 AWS SDK 的软件知道自动查看此 URL 以检索安全凭证。如果你用的软件没有自动看这个URL,你可以提取出来传给软件。