hydras 使用 Ax 横扫不同的配置组

Question

我有一个名为 scheduler 的配置组，其中包含许多优化器调度器，每个都有自己的参数。是否可以创建一个扫描，以便我可以探索许多调度程序，并同时在每个调度程序中探索该调度程序的不同参数。

我目前拥有的是：

  sweeper:
    ax_config:
      params:
        general.batch_size:
          type: choice
          values:
            - 4
            - 8
            - 16
            - 32
            - 64
        general.lr:
          type: range
          bounds: [0.00025, 0.025]
        scheduler:
          type: choice
          values:
            - step_lr
            - cyclic_lr
            - one_cycle_lr 

我想要这样的东西：

  values:
    - step_lr
      gamma:
       type: range
       bounds: [0.9, 0.99]

    - cyclic_lr
    - one_cycle_lr

Answer 1

基本上我觉得你要用grid search sweeper来扫过AX sweeper。这是不支持的。在这种情况下，您需要为每个参数创建不同的扫描。