如何指定 dask 用于临时文件的目录？

Question

Dask 似乎写入 /tmp 文件夹。如何更改 dask 用于临时文件的文件夹？

Answer 1

通过 export TMPDIR=/my/path 将 TMPDIR 环境变量设置到所需位置似乎可行。

Answer 2

设置 TMPDIR 可能会导致问题，因为它也可能会影响其他应用程序。另一种方法是使用 dask.config.set

>>> import dask
>>> with dask.config.set({'temporary_directory': '/path/to/tmp'}):
...     pass

您还可以添加行

temporary_directory: /path/to/tmp

到 .dask/config.yaml（在您的主目录中）configuration docs

Answer 3

出于某种原因，接受的代码对我不起作用。我收到此错误：AttributeError: 'set' object has no attribute 'items'

这是一个有效的版本：dask.config.set(temporary_directory='/path/to/tmp')

另请注意，您必须在创建客户端之前执行此操作。

How to specify the directory that dask uses for temporary files?