创建 dask 本地集群并在不同的 Jupyter notebook 之间共享

Question

对于单机上的 Dask，我需要一个全局内存限制。因为我 running/testing 很多 dask 应用程序。我创建了一个单独的进程

from dask.distributed import Client
client = Client(memory_limit='12GB')

并尝试使用

在另一个进程中连接到它

client = Client('127.0.0.1:38719')

然而，这条线停在那里..我做错了什么吗？

Answer 1

最简单的方法是编写包含连接信息的调度程序文件：

from dask.distributed import Client
client = Client(memory_limit='12GB')
client.write_scheduler_file("dask_scheduler.json")

在不同的笔记本中，您将使用：

from dask.distributed import Client
client = Client(scheduler_file='dask_scheduler.json')

create dask local cluster and share it among different Jupiter notebook