Dask 在这里显示的是哪个内存?
Which memory is Dask showing here?
在 运行 dask-worker 之后,我看到以下输出,内存为 40.53 GB。 40.53 GB 指的是这里的分布式内存还是磁盘内存?谢谢
这是指在将多余的结果溢出到磁盘之前,Dask 打算在此特定工作程序上使用的内存量。这不是指磁盘,也不是指分布式内存。它仅指该特定 worker 上的物理 ram。可以用--memory-limit
关键字修改。
dask-worker scheduler-address:8786 --memory-limit VALUE
默认情况下,这是 psutil
库报告的物理内存的 60%。
在 运行 dask-worker 之后,我看到以下输出,内存为 40.53 GB。 40.53 GB 指的是这里的分布式内存还是磁盘内存?谢谢
这是指在将多余的结果溢出到磁盘之前,Dask 打算在此特定工作程序上使用的内存量。这不是指磁盘,也不是指分布式内存。它仅指该特定 worker 上的物理 ram。可以用--memory-limit
关键字修改。
dask-worker scheduler-address:8786 --memory-limit VALUE
默认情况下,这是 psutil
库报告的物理内存的 60%。