是否有可能估计 Dask 操作的执行时间

Question

我知道它是一个非常特定于环境的代码 运行 但鉴于 dask 提前将其执行计划计算到 DAG 中，有没有办法了解该执行需要多长时间？

进度条在执行后很有帮助运行，但是否可以事先了解一系列操作预计需要多长时间？

Answer 1

简答

没有

说明

Dask 调度程序只执行 Python 个函数。它不会考虑它们的来源或它们所代表的更广泛的上下文（例如，数据框连接或矩阵乘法）。从它的角度来看，它刚刚被要求执行一个不透明的函数调用图。这种普遍性是一个弱点（难以进行高级分析），但也是 Dask 的主要优势，因为它可以应用于任何特定领域或专业之外的各种问题。

分布式调度程序确实维护每个函数持续时间的指数加权平均值，可以用于创建任务图的估计.如果您有兴趣构建它，我会在 scheduler.py 文件中搜索 task_duration。