如何在 dask 中创建可写共享数组

Question

我是 Dask 新手 我试图找到的是“进程之间的共享数组，它需要被任何进程写入” 有人可以告诉我吗？ 前

一种在dask中实现共享可写数组的方法

Answer 1

Dask 的内部抽象是一个 DAG，一个功能图，假设您重新运行它们时任务的行为相同（“纯功能”），因为一个任务总是有可能在两个地方运行，或者持有任务输出的工人死亡。

因此，Dask 通常不支持可变数据结构作为任务 inputs/outputs。但是，您可以执行创建变异的任务 side-effect，例如任何写入磁盘的函数。

如果您准备设置自己的共享内存并传递它的句柄，没有什么能阻止您创建改变该内存的函数。关于任务 运行 的警告多次成立，您将独自一人。目前没有机制可以为您做这种事情，但我个人打算在接下来的几个月内进行调查。