Amazon EMR 上的 Apache spark Web UI 无法正常工作

Question

我们在 Amazon EMR 4.1 上使用 Spark。在 yarn 资源管理器上访问 application master link 时，我们看到一个空白页面。使用 Firefox 调试，我们注意到出现了 HTTP 500 错误。我们已尝试为 AWS 配置代理设置，并将 URL 的内部主机名替换为外部 hostname/ip 地址，但仍然无法访问网络 ui.

我们过去在 EMR 3.x 版本上使用相同的步骤。

Answer 1

ip* 是私有IP地址。您将无法直接访问它。您需要使用以 ec2 开头的 public ip，或者您需要通过具有 public ip.

的服务器使用 ssh 隧道

您在使用 SSH 隧道吗？

当在任何地方添加新条目时，它对我有用 public ip。我相信它也适用于私有 ip

Answer 2

问题好像是你的代理，我也遇到了同样的问题添加这个 sbt 存储库或 maven，无论你使用什么

SBT

"org.apache.hadoop" % "hadoop-yarn-server-web-proxy"

行家

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-yarn-server-web-proxy</artifactId>
    <version>2.6.2</version>
</dependency>

对我有用

Amazon EMR 上的 Apache spark Web UI 无法正常工作

Apache spark Web UI on Amazon EMR not working

emr

apache-spark