Caffe 中的 `lr_policy` 是什么？
What is `lr_policy` in Caffe?
我只是想知道如何使用 Caffe。为此，我只查看了示例文件夹中的不同 .prototxt 文件。有一个选项我不明白：
# The learning rate policy
lr_policy: "inv"
可能的值似乎是：
"fixed""inv""step""multistep""stepearly""poly"
有人可以解释一下这些选项吗？
随着 optimization/learning 过程的进行，降低学习率 (lr) 是一种常见的做法。然而，不清楚学习率应该如何作为迭代次数的函数而降低。
如果您使用 DIGITS 作为 Caffe 的接口，您将能够直观地看到不同的选择如何影响学习率。
固定：学习率在整个学习过程中保持固定。
inv: 学习率衰减为 ~1/T
步骤： 学习率是分段常数，每 X 次迭代下降一次
多步：任意间隔的分段常数
您可以在函数 SGDSolver<Dtype>::GetLearningRate 中看到学习率的确切计算方式（solvers/sgd_solver.cpp 行 ~30）。
最近，我发现了一种有趣且非常规的学习率调整方法：Leslie N. Smith's work "No More Pesky Learning Rate Guessing Games"。在他的报告中，莱斯利建议使用 lr_policy 交替降低和 增加 学习率。他的工作还建议如何在 Caffe 中实施此政策。
如果您查看 /caffe-master/src/caffe/proto/caffe.proto 文件（您可以在线找到它 here），您将看到以下描述：
// The learning rate decay policy. The currently implemented learning rate
// policies are as follows:
// - fixed: always return base_lr.
// - step: return base_lr * gamma ^ (floor(iter / step))
// - exp: return base_lr * gamma ^ iter
// - inv: return base_lr * (1 + gamma * iter) ^ (- power)
// - multistep: similar to step but it allows non uniform steps defined by
// stepvalue
// - poly: the effective learning rate follows a polynomial decay, to be
// zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)
// - sigmoid: the effective learning rate follows a sigmod decay
// return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
//
// where base_lr, max_iter, gamma, step, stepvalue and power are defined
// in the solver parameter protocol buffer, and iter is the current iteration.
我只是想知道如何使用 Caffe。为此，我只查看了示例文件夹中的不同 .prototxt 文件。有一个选项我不明白：
# The learning rate policy
lr_policy: "inv"
可能的值似乎是：
"fixed""inv""step""multistep""stepearly""poly"
有人可以解释一下这些选项吗？
随着 optimization/learning 过程的进行，降低学习率 (lr) 是一种常见的做法。然而，不清楚学习率应该如何作为迭代次数的函数而降低。
如果您使用 DIGITS 作为 Caffe 的接口，您将能够直观地看到不同的选择如何影响学习率。
固定：学习率在整个学习过程中保持固定。
inv: 学习率衰减为 ~1/T
步骤： 学习率是分段常数，每 X 次迭代下降一次
多步：任意间隔的分段常数
您可以在函数 SGDSolver<Dtype>::GetLearningRate 中看到学习率的确切计算方式（solvers/sgd_solver.cpp 行 ~30）。
最近，我发现了一种有趣且非常规的学习率调整方法：Leslie N. Smith's work "No More Pesky Learning Rate Guessing Games"。在他的报告中，莱斯利建议使用 lr_policy 交替降低和 增加 学习率。他的工作还建议如何在 Caffe 中实施此政策。
如果您查看 /caffe-master/src/caffe/proto/caffe.proto 文件（您可以在线找到它 here），您将看到以下描述：
// The learning rate decay policy. The currently implemented learning rate
// policies are as follows:
// - fixed: always return base_lr.
// - step: return base_lr * gamma ^ (floor(iter / step))
// - exp: return base_lr * gamma ^ iter
// - inv: return base_lr * (1 + gamma * iter) ^ (- power)
// - multistep: similar to step but it allows non uniform steps defined by
// stepvalue
// - poly: the effective learning rate follows a polynomial decay, to be
// zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)
// - sigmoid: the effective learning rate follows a sigmod decay
// return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
//
// where base_lr, max_iter, gamma, step, stepvalue and power are defined
// in the solver parameter protocol buffer, and iter is the current iteration.