如何从远程计算机访问本地计算机中的浏览器

how to access to my browser in local machine from remote machine

因为我 运行 在我的远程计算机上启动应用程序,我想查看进度,所以我需要从浏览器访问 spark web UI。

我应该怎么做才能从 运行 我的 spark 应用程序所在的远程机器 运行 我本地机器上的浏览器 firefox?

如果远方的(remote)有一个IP地址:

192.yy.yy.yy

知道我曾经从本地机器访问远程机器

ssh name@xx.xx.xx.xx

ps: 我只能使用命令与远程机器交互。

每个 SparkContext 都会启动一个 Web UI,默认情况下在端口 4040 上显示有关应用程序的有用信息。这包括:

  • 调度程序阶段和任务列表
  • RDD 大小和内存使用情况摘要
  • 环境信息。
  • 有关 运行 执行者的信息

您只需在网络浏览器中打开 http://192.yy.yy.yy:4040 即可访问此界面。如果同一主机上有多个 SparkContext 运行,它们将绑定到以 4040 开头的连续端口(4041、4042 等)。

来源:Monitoring Spark

既然中间有一个管理服务器,您需要创建隧道以访问 spark UI,创建隧道使用 ssh -L 4041:192.yy.yy.yy:4041 name@xx.xx.xx.xx 然后通过 [= 访问 spark UI 11=]

你只需要将UI端口从服务器转发到本地

ssh -L 4040:localhost:4040 name@xx.xx.xx.xx

在本地机器上,只需转到地址 localhost:4040 即可查看进度。

参考:https://unix.stackexchange.com/questions/115897/whats-ssh-port-forwarding-and-whats-the-difference-between-ssh-local-and-remot