将 Dask 延迟任务中的工作进度传达回客户端线程
Communicate progress of work inside a Dask delayed task back to Client thread
我想使用 Dask delayed
任务来调用外部程序,该程序将其进度输出到 STDOUT
。在 delayed
中,我计划监视 STDOUT
并希望使用从 [=11] 中提取的进度信息更新正在等待 delayed
任务的 Client
进程=]. delayed
任务与其 Client
进程通信的推荐方法,还是我需要自己动手?
您可以使用 dask 提供的任何 coordination primitives or actors 实现这种流程。根据您的描述,队列或发布订阅机制似乎是最受欢迎的。你要注意,这些一般都是低频小流量的手段。
我想使用 Dask delayed
任务来调用外部程序,该程序将其进度输出到 STDOUT
。在 delayed
中,我计划监视 STDOUT
并希望使用从 [=11] 中提取的进度信息更新正在等待 delayed
任务的 Client
进程=]. delayed
任务与其 Client
进程通信的推荐方法,还是我需要自己动手?
您可以使用 dask 提供的任何 coordination primitives or actors 实现这种流程。根据您的描述,队列或发布订阅机制似乎是最受欢迎的。你要注意,这些一般都是低频小流量的手段。