dask可以使用s3来存储中间对象吗

Question

我一直在阅读有关 dask 的内容以及它如何处理 s3 上的文件。我想知道如果工作人员的磁盘太小而无法完全存储在难以置信的大对象上进行复杂计算所需的中间结构，会发生什么情况。 dask 是否会将临时对象溢出回 s3 并将其用作更多的临时磁盘 space（如果给予正确的权限）？还是计算会失败？

Answer 1

原则上，您可以设置一个系统将中间体溢出到 S3，但没有现有机制可以自动执行此操作，而且我还没有听说有人尝试过。