在张量流对象检测中找到最佳学习率

Question

我想使用 tensorflow 对象检测搜索最佳学习率 api。但是在配置文件中我找不到任何东西。我可以添加 schedule 但它无法搜索最佳学习率。

learning_rate: {
            manual_step_learning_rate {
              initial_learning_rate: 0.003
              schedule {
                step: 6000
                learning_rate: .0003
              }
              schedule {
                step: 12000
                learning_rate: .00003
              }

有什么技巧或方法可以搜索最佳学习率。

Answer 1

如果您参考 Learning Rate Finder（如 Smith 在此处所描述的示例：https://arxiv.org/abs/1803.09820），您似乎可以使用以下方法来模拟它：

learning_rate: {
    exponential_decay_learning_rate {
          initial_learning_rate: 0.004
          decay_steps: 10000
          decay_factor: 1.3
    }
}

decay_factor 高于 1。

尽管如此，您仍然需要查看损失并自己选择最佳学习率。

在张量流对象检测中找到最佳学习率

Finding the best learning rate in tensorflow object detection

object-detection

tensorflow