使用 SGD 或 Adagrad 的 TensorFlowDNNRegressor 的默认学习率是多少?
What is the default learning rate for TensorFlowDNNRegressor with SGD or Adagrad?
这可能是个简单的问题,但我就是找不到。但我对这一切也很陌生,所以也许我只是瞎了眼。
将 TensorFlowDNNRegressor 与 SGD 或 Adagrad 结合使用时的默认学习率是多少?
使用 Adam 或 Adadelta 时的默认值似乎是 0.001,但我找不到 Adagrad 的默认值,它是 TensorFlowDNNRegressor 或经典 SGD 的默认优化器。
谢谢!
如上述文档和代码中所述,TensorFlowDNNRegressor 的默认学习率为 0.1。
我检查了代码,但是Adagrad优化器的学习率没有默认值
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/training/adagrad.py
AdaGrad 不需要学习率,因为它会按组件进行调整(因此得名)。一个非常简洁的评论:
https://xcorr.net/2014/01/23/adagrad-eliminating-learning-rates-in-stochastic-gradient-descent/
这可能是个简单的问题,但我就是找不到。但我对这一切也很陌生,所以也许我只是瞎了眼。
将 TensorFlowDNNRegressor 与 SGD 或 Adagrad 结合使用时的默认学习率是多少? 使用 Adam 或 Adadelta 时的默认值似乎是 0.001,但我找不到 Adagrad 的默认值,它是 TensorFlowDNNRegressor 或经典 SGD 的默认优化器。
谢谢!
如上述文档和代码中所述,TensorFlowDNNRegressor 的默认学习率为 0.1。
我检查了代码,但是Adagrad优化器的学习率没有默认值 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/training/adagrad.py
AdaGrad 不需要学习率,因为它会按组件进行调整(因此得名)。一个非常简洁的评论: https://xcorr.net/2014/01/23/adagrad-eliminating-learning-rates-in-stochastic-gradient-descent/