Amazon EMR 应用大师网站 UI?

Amazon EMR Application Master web UI?

我已经使用 Hadoop YARN (AMI 3.3.1) 在 Amazon EMR 上开始 运行 PIG 作业,但是由于 Yarn 中不再有作业跟踪器,我似乎无法找到一个web UI 以便我可以跟踪 MapReduce 作业的 Mappers 和 Reducer 的数量,当我尝试访问资源管理器 UI 页面中提供的 Application Master link 时,有人告诉我该页面不存在(下面提供的图片)。

有谁知道我如何通过我的网络浏览器访问 UI,它将根据映射器、缩减器的数量和每个完成的百分比等向我显示当前的工作状态?

谢谢

从 ResourceManager 网页单击 ApplicationMaster link 后,您将被重定向到 ApplicationMaster web ui;因为 EMR 使用 EC2 实例,每个 EC2 实例都有 2 个与之关联的 IP 地址,一个用于私人通信,另一个用于 public。 EMR 使用私有 IP 地址(私有 DNS)来设置 hadoop,因此,您将被重定向到 url,如下所示:

http://10.204.137.136:9046/proxy/application_1423027388806_0003/

您可以看到它指向实例的私有 IP 地址,因此您的浏览器无法解析该 IP 地址,您只需将私有 IP 地址替换为 public IP 地址(或 public 该实例的 dns 名称):

获取实例的publicip地址

  1. 使用 EC2 网络界面

    您可以登录 AWS EC2 控制台并找到实例的 IP 地址

  2. 使用控制台:

    如果您登录到该实例并想知道它的 public ip 地址,请发出以下命令,它将返回该实例的 public ip 地址。

    curl http://169.254.169.254/latest/meta-data/public-ipv4
    

另请查看此 AWS documentation page on how to view web interfaces,它提供了其他选项,例如设置 SSH 隧道和使用 SOCKS 代理。