如何在集群模式下为 dask 设置工作节点上的线程数？

Question

我有一个 Dask 时间表和 4 个工人。每个工人有 4 cpu 和 8GB。当我在 workers 中将线程数指定为 运行 时，它不起作用。它总是默认为 cpu(4) 的数量。这是我的做法

with dask.config.set(pool=ThreadPool(8)):
   bag = db.from_sequence(archives)
   bag.map_partitions(extract_archives).compute()

当我改用number_workers时，还是一样。

with dask.config.set(num_workers=8):
   bag = db.from_sequence(archives)
   bag.map_partitions(extract_archives).compute()

如何设置worker节点的线程数运行ning？我在 python 3.7.

中使用 Dask

谢谢，

Answer 1

您可以在设置dask worker进程时设置线程数。

$ dask-worker --help | grep threads
  --nthreads INTEGER            Number of threads per process.