带有隐藏密钥对的 Hadoop distcp 到 S3a

Question

如何隐藏 ACCESS_ID_KEY 和 SECRET_ACCESS_KEY 以访问 Amazon S3？

我知道将它添加到 core-site.xml，但也许有不同的解决方案。因为使用这种方法，集群中的每个用户都将 运行 distcp 使用相同的密钥。也许有一些解决方案，比如为每个集群用户将它存储在一些 属性 文件中？

谢谢。

Answer 1

请参阅我的HCC post，了解如何使用 Hadoop 凭据API。