在 AWS EMR 中编辑配置文件

Editing configuration files in AWS EMR

在哪里可以找到 AWS EMR 的配置文件?主要是我在寻找 hue.ini 文件,我启动了一个新集群,打开了 hue UI,创建了新的超级用户并登录了。然后我在那个区域看到了我所有的 s3 存储桶,但我不能访问存储桶中的文件,我不断收到此错误 -

Failed to access path: "s3a://data-storage" Check that you have access to read this bucket and that the region is correct: Bad Request.

然后我尝试按照此将我的 s3 帐户添加到 hue - http://gethue.com/introducing-s3-support-in-hue/ . As per this AWS link - https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html,我试图将它添加到我的集群的配置中。

  1. 根据上面的 AWS link,他们说我只能在创建集群时添加它,我们不能添加到现有集群中吗?如果是这样,我可以在哪里添加它?
  2. 如何在 Hue 中添加 s3 配置,在 AWS 配置中添加 hadoop with s3?任何示例都会有所帮助。

they say i have to add it only when i create the cluster

是的,因为如果您计划关闭 EMR 集群,并且它会在下次启动时引导一台单独的机器,那么您将丢失配置。集群设置中有一个 "advanced options" 部分,您可以在其中指定配置 JSON 对象。

EMR Hue 自动配置为读取 S3,假设 IAM 角色允许它这样做,但欢迎您在集群启动后编辑 hue.ini

/usr/lib/hue/desktop/conf/hue.ini 

编辑后,

sudo reload hue