Elastic Map Reduce 和 amazon s3:有关访问密钥的错误

Elastic Map Reduce and amazon s3: Error regarding access keys

总的来说,我是 Amazon EMR 和 Hadoop 的新手。我目前正在尝试在 EMR 集群上设置 Pig 作业并从 S3 导入和导出数据。我在 s3 中设置了一个存储桶,其中包含名为 "datastackexchange" 的数据。为了开始将数据复制到 Pig,我使用了以下命令:

ls s3://datastackexchange

我遇到了以下错误消息:

AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3 URL, or by setting the fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively).

我想我遗漏了一些关键步骤(可能涉及设置访问密钥)。由于我是 EMR 的新手,有人可以解释我需要做什么来消除这个错误并允许我在 EMR 中使用我的 S3 数据吗?

非常感谢任何帮助 - 谢谢。

如您所见,您的 EMR 实例没有访问 S3 数据的权限。有许多方法可以指定 AWS 凭证来访问您的 S3 数据,但正确的方法是创建 IAM 角色来访问您的 S3 数据。

Configure IAM Roles for Amazon EMR 解释了所涉及的步骤。