如何从远程计算机访问本地计算机中的浏览器
how to access to my browser in local machine from remote machine
因为我 运行 在我的远程计算机上启动应用程序,我想查看进度,所以我需要从浏览器访问 spark web UI。
我应该怎么做才能从 运行 我的 spark 应用程序所在的远程机器 运行 我本地机器上的浏览器 firefox?
如果远方的(remote)有一个IP地址:
192.yy.yy.yy
知道我曾经从本地机器访问远程机器
ssh name@xx.xx.xx.xx
ps: 我只能使用命令与远程机器交互。
每个 SparkContext 都会启动一个 Web UI,默认情况下在端口 4040 上显示有关应用程序的有用信息。这包括:
- 调度程序阶段和任务列表
- RDD 大小和内存使用情况摘要
- 环境信息。
- 有关 运行 执行者的信息
您只需在网络浏览器中打开 http://192.yy.yy.yy:4040 即可访问此界面。如果同一主机上有多个 SparkContext 运行,它们将绑定到以 4040 开头的连续端口(4041、4042 等)。
既然中间有一个管理服务器,您需要创建隧道以访问 spark UI,创建隧道使用 ssh -L 4041:192.yy.yy.yy:4041 name@xx.xx.xx.xx
然后通过 [= 访问 spark UI 11=]
你只需要将UI端口从服务器转发到本地
ssh -L 4040:localhost:4040 name@xx.xx.xx.xx
在本地机器上,只需转到地址 localhost:4040 即可查看进度。
因为我 运行 在我的远程计算机上启动应用程序,我想查看进度,所以我需要从浏览器访问 spark web UI。
我应该怎么做才能从 运行 我的 spark 应用程序所在的远程机器 运行 我本地机器上的浏览器 firefox?
如果远方的(remote)有一个IP地址:
192.yy.yy.yy
知道我曾经从本地机器访问远程机器
ssh name@xx.xx.xx.xx
ps: 我只能使用命令与远程机器交互。
每个 SparkContext 都会启动一个 Web UI,默认情况下在端口 4040 上显示有关应用程序的有用信息。这包括:
- 调度程序阶段和任务列表
- RDD 大小和内存使用情况摘要
- 环境信息。
- 有关 运行 执行者的信息
您只需在网络浏览器中打开 http://192.yy.yy.yy:4040 即可访问此界面。如果同一主机上有多个 SparkContext 运行,它们将绑定到以 4040 开头的连续端口(4041、4042 等)。
既然中间有一个管理服务器,您需要创建隧道以访问 spark UI,创建隧道使用 ssh -L 4041:192.yy.yy.yy:4041 name@xx.xx.xx.xx
然后通过 [= 访问 spark UI 11=]
你只需要将UI端口从服务器转发到本地
ssh -L 4040:localhost:4040 name@xx.xx.xx.xx
在本地机器上,只需转到地址 localhost:4040 即可查看进度。