Dask 中间结果
Dask Intermediate Results
我有一个小型的 Dask 自定义应用程序(DAG 中约有 20 个节点)。我希望能够以某种方式保留函数的所有中间结果以供将来检查,因为有时我们想知道为什么我们得出了最终答案。除了在返回函数之前将结果推送到 Redis(或类似的)之外,在 Dask 中是否有任何好的模式?
您可以在计算最终结果的同时计算中间结果。
a = dask.delayed(inc)(1)
b = dask.delayed(inc)(2)
c = dask.delayed(add)(a, b)
dask.compute(c) # only return c, releasing a and b as soon as possible
dask.compute(a, b, c) # return all three
我有一个小型的 Dask 自定义应用程序(DAG 中约有 20 个节点)。我希望能够以某种方式保留函数的所有中间结果以供将来检查,因为有时我们想知道为什么我们得出了最终答案。除了在返回函数之前将结果推送到 Redis(或类似的)之外,在 Dask 中是否有任何好的模式?
您可以在计算最终结果的同时计算中间结果。
a = dask.delayed(inc)(1)
b = dask.delayed(inc)(2)
c = dask.delayed(add)(a, b)
dask.compute(c) # only return c, releasing a and b as soon as possible
dask.compute(a, b, c) # return all three