从作业实际 运行 以外的其他地方访问 Spark Web UI
Accessing Spark Web UI from another place than where the job actually ran
我有一个 spark 集群，在独立模式下有 1 个主 9nodes.I 和 运行。我无法从集群中的任何节点访问 Web 浏览器（我通过 ssh 连接到节点——它是一个 grid5000 集群）。
我想知道，在这种情况下是否有可能访问 Spark Web UI？我尝试通过在我的本地计算机上的 SPARK_PATH/work 中从我的集群复制日志（给人的印象是集群中 运行 的作业在我的本地计算机上是 运行 ）。这个想法是在阅读文档的这一部分后产生的：
如果应用程序在其生命周期内记录了事件，那么独立主控的网站 UI 将自动重新呈现应用程序的 UI申请完成后。
但是没有用。我在 UI 中看到的是：
Applications: 0 Running, 0 Completed
Drivers: 0 Running, 0 Completed
Status: ALIVE
谢谢！
不需要复制任何东西，只需要访问master机器上的8080端口或者应用机器上的4040端口即可（而应用是运行）。如果无法从外部访问机器，则必须通过 SSH 建立隧道。
通过 SSH 建立隧道是一个热门话题，搜索一下即可。我个人使用 ssh -D 9999，然后使用 Firefox 和 Chrome.
都存在的 FoxyProxy 插件将 localhost:9999 设置为代理
我有一个 spark 集群，在独立模式下有 1 个主 9nodes.I 和 运行。我无法从集群中的任何节点访问 Web 浏览器（我通过 ssh 连接到节点——它是一个 grid5000 集群）。 我想知道，在这种情况下是否有可能访问 Spark Web UI？我尝试通过在我的本地计算机上的 SPARK_PATH/work 中从我的集群复制日志（给人的印象是集群中 运行 的作业在我的本地计算机上是 运行 ）。这个想法是在阅读文档的这一部分后产生的：
如果应用程序在其生命周期内记录了事件，那么独立主控的网站 UI 将自动重新呈现应用程序的 UI申请完成后。
但是没有用。我在 UI 中看到的是：
Applications: 0 Running, 0 Completed Drivers: 0 Running, 0 Completed Status: ALIVE
谢谢！
不需要复制任何东西，只需要访问master机器上的8080端口或者应用机器上的4040端口即可（而应用是运行）。如果无法从外部访问机器，则必须通过 SSH 建立隧道。
通过 SSH 建立隧道是一个热门话题，搜索一下即可。我个人使用 ssh -D 9999，然后使用 Firefox 和 Chrome.
localhost:9999 设置为代理