在 Google Dataproc 中代理资源管理器

Proxying Resource Manager in Google Dataproc

我已按照 Google 说明进行操作。

gcloud compute ssh  --zone=us-central1-b --ssh-flag="-D 8088" --ssh-flag="-N" --ssh-flag="-n" spark-test-m

接着是

/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy-server="socks5://localhost:1080" --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE localhost" --user-data-dir=/tmp/

导航到 https://spark-test-m:8088,但我什么也没找到。

似乎有两个问题:

  1. 由于您通过了 --ssh-flag="-D 8088",您的本地代理端口实际上是 8088 而不是 1080,您在标志中将 --proxy-server="socks5://localhost:1080" 指定为 Chrome。

  2. 您似乎在尝试使用 HTTPS url 而不是 HTTP。

或者,有时您的浏览器可能已配置为忽略用户配置文件代理设置而支持某些系统设置。我会先尝试修复代理端口,然后尝试两者 http://spark-test-m:8088 and also maybe http://spark-test-m:50070 看看它是否特定于代理连接,或者是否由于某种原因只是 ResourceManager 未能出现。

根据 http://cloud.google.com/dataproc/cluster-web-interfaces

,第一个 SSH 标志应该是“-D 1080”