使用通过 ssh 隧道分发的 dask 访问散景服务器

Question

问题
我正在为运行图像分析设置一个集群（从 MPI 转移到 Dask 和 Dask.distributed）。我通过隧道连接到主节点，但我不知道如何访问散景服务器。

步骤
1. 通过 ssh 隧道连接到我的服务器主节点：
ssh -L 7000:localhost:7000 simone@server.se
2.开始dask-scheduler --port 7001 --bokeh 7002
3. ssh 到我要使用的节点（也在端口 7000 上建立隧道）并启动 dask-worker --memory-limit=200e9
4. 启动 jupyter notebook --port=7000 --no-browser 并打开 chrome 会话并将浏览器指向 localhost:7000
5.启动一个Client()指向调度器地址
6. X11 forwarding 坏了，我无法在我的笔记本电脑上使用它

当我查看 dask-scheduler 页面的输出时，我得到：

distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO -   Scheduler at: tcp://130.237.132.207:7001
distributed.scheduler - INFO -        http at:              0.0.0.0:9786
distributed.scheduler - INFO -       bokeh at:              0.0.0.0:7002
distributed.scheduler - INFO - Local Directory:    /tmp/scheduler-4we9jlcj
distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO - Register tcp://192.168.0.3:43973
distributed.scheduler - INFO - Starting worker compute stream, 
tcp://192.168.0.3:43973
distributed.scheduler - INFO - Receive client connection: Client-6967349a-
872f-11e7-a595-0cc47a8ebf44

并且 client 似乎正确连接到工作人员：

Scheduler: tcp://130.237.132.207:7001
Dashboard: http://130.237.132.207:7002
Workers: 1
Cores: 56
Memory: 200.00 GB

问题
1) 将浏览器指向设置时间表的 port 7000 而不是 port 7001 是否正确？仅供参考：如果我使用 localhost:7001 或调度程序和仪表板的任何 IP 地址，我无法从浏览器加载任何内容。 2) 如何访问散景图来评估性能？
3）额外的好处：有没有一种方法可以让我用 dask-ssh 启动多个工人并传递 --memory-limit

等参数

谢谢！

Answer 1

您似乎在端口 7002 上托管散景仪表板。您还需要为该端口设置第二个 ssh 隧道。这可能如下所示：

ssh -L 7002:localhost:7002 simone@server.se
open http://localhost:7002

通过关键字传递给 dask-ssh 听起来是个好主意。我推荐 opening an issue，如果你有时间，也许可以拉取请求 :)

使用通过 ssh 隧道分发的 dask 访问散景服务器

Accessing bokeh server using dask distributed via ssh tunnelling

python

bokeh

dask

dask-distributed