异步 Xarray 写入 Zarr
Asynchronous Xarray writing to Zarr
全部。我正在使用 Dask 分布式集群在循环内编写 Zarr+Dask 支持的 Xarray 数据集，并且 dataset.to_zarr 正在阻塞。当有散乱的块阻止循环的继续时，这确实会减慢速度。有没有办法异步执行 .to_zarr ，以便循环可以继续下一个数据集写入而不会被一些掉队的块阻止？
使用分布式调度程序，您无需任何特殊努力即可获得异步行为。例如，如果你正在做 arr.to_zarr，那么你确实要等待完成。但是，您可以执行以下操作：
client = Client(...)
out = arr.to_zarr(..., compute=False)
fut = client.compute(out)
这将 return 一个未来，fut，其状态反映了整个计算的当前状态，您可以选择是等待它还是继续提交新工作。您还可以将其显示到进度条（在笔记本中），只要内核不忙，进度条就会异步更新。
全部。我正在使用 Dask 分布式集群在循环内编写 Zarr+Dask 支持的 Xarray 数据集，并且 dataset.to_zarr 正在阻塞。当有散乱的块阻止循环的继续时，这确实会减慢速度。有没有办法异步执行 .to_zarr ，以便循环可以继续下一个数据集写入而不会被一些掉队的块阻止？
使用分布式调度程序，您无需任何特殊努力即可获得异步行为。例如，如果你正在做 arr.to_zarr，那么你确实要等待完成。但是，您可以执行以下操作：
client = Client(...)
out = arr.to_zarr(..., compute=False)
fut = client.compute(out)
这将 return 一个未来，fut，其状态反映了整个计算的当前状态，您可以选择是等待它还是继续提交新工作。您还可以将其显示到进度条（在笔记本中），只要内核不忙，进度条就会异步更新。