用于级联处理的 Hydra 配置

Question

我是 python 和 hydra 的新手，我正在使用 hydra multirun 进行级联图像处理。

尝试将 hydra-config 用作预设。

考虑使用级联函数的应用程序，它们都从 hydra 中读取参数 cfg

functionA 输出是 functionB 的输入，FunctionB 输出是 functionC 的输入，functionC 输出是期望的结果。 但是每 run 所有过程都从 functionA

开始

我可以这样做吗：在第一个 运行 结束时，使用定义的配置执行 functionC，然后使用定义的配置执行 functionB？这样的递归方式？

我看到在当前模式下一切正常，另一方面我知道我必须通过代码管理递归计算，但无论如何在拆分代码然后连接 hydra 来做到这一点？

运行从头开始安装应用程序很费时间和精力。

谢谢

Answer 1

听起来你想启动一个 DAG。 这是 Hydra 没有涵盖的内容，但您可以查看其他库，例如 Ray 或 Airflow。

原则上，您可以使用 Hydra 的 multirun 来启动第一个作业，进而启动 dag，可能基于 Hydra 组合配置。

可能有用的一件事是实例化 API，它可以让您构建由配置支持的 dag 定义。 特别是，Hydra 1.1 实例化是递归的。看看docs就知道了。