在多用户 dask.distributed 集群中隔离 python 环境有哪些选择？

Question

当多个用户上传 (upload_file) 同一 python 文件或 zip 内容的略有不同版本时，我特别感兴趣的是避免冲突。

这似乎不是一个真正受支持的用例，因为工作进程很长 运行 并且受其他环境 changes/additions 的影响。

我喜欢这个库，因为它可以轻松按需 local/remote 上下文切换，所以如果您对我们可能拥有的选项有任何见解，我将不胜感激，即使这意味着针对特定用户的工作人员需要执行类似无缝部署的步骤进程。

Answer 1

通常，拥有不同用户环境的解决方案是在 Kubernetes、Marathon 或 Yarn 等其他作业调度程序之上动态启动和销毁不同 Dask workers/schedulers 的网络。

如果您需要重复使用同一组 dask worker，那么您也可以小心地指定一致的 workers= 关键字，但这很容易出错。