Dask 分布式:允许调度程序使用客户端(本地)内核
Dask distributed: allow client (local) cores to be used by the scheduler
本地计算机(客户端)有一些资源可以用于计算,但如果使用分布式集群,则客户端在client.gather
期间将处于空闲状态。我如何在本地机器上创建一个 worker 来连接到现有的分布式调度程序?
我记得在 GitHub 上读过一个关于这个的问题,但我找不到了(该线程在客户端使用 GPU 的上下文中)。
我在错误的回购中寻找答案,正确的回购是 dask_jobqueue
而这是 link:https://github.com/dask/dask-jobqueue/issues/471
在该线程中,@stuarteberg 提出了一种解决方法:通过临时打开本地集群复制本地工作人员规范,将新工作人员规范添加到分布式集群规范(dask jobqueues 集群之一)并扩展工作人员数量适当地,这将导致创建本地工人。
本地计算机(客户端)有一些资源可以用于计算,但如果使用分布式集群,则客户端在client.gather
期间将处于空闲状态。我如何在本地机器上创建一个 worker 来连接到现有的分布式调度程序?
我记得在 GitHub 上读过一个关于这个的问题,但我找不到了(该线程在客户端使用 GPU 的上下文中)。
我在错误的回购中寻找答案,正确的回购是 dask_jobqueue
而这是 link:https://github.com/dask/dask-jobqueue/issues/471
在该线程中,@stuarteberg 提出了一种解决方法:通过临时打开本地集群复制本地工作人员规范,将新工作人员规范添加到分布式集群规范(dask jobqueues 集群之一)并扩展工作人员数量适当地,这将导致创建本地工人。