Kedro 是否支持 Checkpointing/Caching 的结果?

Does Kedro support Checkpointing/Caching of Results?

假设我们有多个长 运行ning 管道节点。 检查点或缓存中间结果似乎很直接,因此当更改或添加检查点之后的节点时,只需再次执行这些节点。

Kedro 是否提供功能来确保,当我 运行 管道时,只有那些步骤是 执行后有变化吗? 同样反过来,有没有办法确保所有已更改的步骤都已执行?

假设产生一些中间结果的管道发生变化,当我根据第一个输出执行管道时,它会被执行吗?

TL;DR: Kedro 是否有类似 makefile 的跟踪功能来跟踪需要做什么和不做什么?

我觉得我的问题和issue #341类似,但是我不需要循环图的支持。

您可能想看看 IncrementalDataSet alongside the partitioned dataset documentation, specifically the section on incremental loads with the incremental dataset,它具有 "checkpointing" 的概念,尽管检查点是手动步骤而不是像 makefile 那样自动执行。