Kedro 是否支持 Checkpointing/Caching 的结果?
Does Kedro support Checkpointing/Caching of Results?
假设我们有多个长 运行ning 管道节点。
检查点或缓存中间结果似乎很直接,因此当更改或添加检查点之后的节点时,只需再次执行这些节点。
Kedro 是否提供功能来确保,当我 运行 管道时,只有那些步骤是
执行后有变化吗?
同样反过来,有没有办法确保所有已更改的步骤都已执行?
假设产生一些中间结果的管道发生变化,当我根据第一个输出执行管道时,它会被执行吗?
TL;DR: Kedro 是否有类似 makefile
的跟踪功能来跟踪需要做什么和不做什么?
我觉得我的问题和issue #341类似,但是我不需要循环图的支持。
您可能想看看 IncrementalDataSet alongside the partitioned dataset documentation, specifically the section on incremental loads with the incremental dataset,它具有 "checkpointing" 的概念,尽管检查点是手动步骤而不是像 makefile
那样自动执行。
假设我们有多个长 运行ning 管道节点。 检查点或缓存中间结果似乎很直接,因此当更改或添加检查点之后的节点时,只需再次执行这些节点。
Kedro 是否提供功能来确保,当我 运行 管道时,只有那些步骤是 执行后有变化吗? 同样反过来,有没有办法确保所有已更改的步骤都已执行?
假设产生一些中间结果的管道发生变化,当我根据第一个输出执行管道时,它会被执行吗?
TL;DR: Kedro 是否有类似 makefile
的跟踪功能来跟踪需要做什么和不做什么?
我觉得我的问题和issue #341类似,但是我不需要循环图的支持。
您可能想看看 IncrementalDataSet alongside the partitioned dataset documentation, specifically the section on incremental loads with the incremental dataset,它具有 "checkpointing" 的概念,尽管检查点是手动步骤而不是像 makefile
那样自动执行。