创建后是否可以将worker资源分配给dask分布式worker?
Is it possible to assign worker resources to dask distributed worker after creation?
根据标题,如果我通过 helm 或 kubernetes 创建工人,是否可以在创建工人后分配 "worker resources"(https://distributed.readthedocs.io/en/latest/resources.html#worker-resources)?
用例是访问数据库的任务,我想在给定的 运行 中限制能够访问数据库的进程数量,而不限制集群的总大小。
截至 2019-04-09 为止,尚无执行此操作的标准方法。您已经找到了 Worker.set_resources
方法,使用起来很合理。最终我还希望 Worker 插件能够处理这个问题,但它们没有实现。
对于控制对数据库的访问的应用程序,听起来您真正需要的是信号量。您可能 help build one (it's actually decently straightforward given the current Lock
implementation), or you could use a Dask Queue 模拟一个。
根据标题,如果我通过 helm 或 kubernetes 创建工人,是否可以在创建工人后分配 "worker resources"(https://distributed.readthedocs.io/en/latest/resources.html#worker-resources)?
用例是访问数据库的任务,我想在给定的 运行 中限制能够访问数据库的进程数量,而不限制集群的总大小。
截至 2019-04-09 为止,尚无执行此操作的标准方法。您已经找到了 Worker.set_resources
方法,使用起来很合理。最终我还希望 Worker 插件能够处理这个问题,但它们没有实现。
对于控制对数据库的访问的应用程序,听起来您真正需要的是信号量。您可能 help build one (it's actually decently straightforward given the current Lock
implementation), or you could use a Dask Queue 模拟一个。