Ng coursera 和 Michael A. Nielsen 书中的梯度下降不同

Question

我正在通过 coursera 中的 NG 机器学习课程和 Nielson 的神经网络与深度学习一书学习神经网络。我对梯度下降的理解有点混乱。我看到两种不同的形式通过 NG 和 Nielson 之间的梯度下降来更新权重。

来自尼尔森：

the weight update formula

the chapter Two, section The backpropagation algorithm

来自 NG：

the weight update formal

两者都用于反向传播算法中前向传递后更新权重。在Neil版本中，在NG版本中似乎有一个学习等级-η，它没有任何学习等级，更像是学习等级为+1。我对此很困惑。有没有人可以帮我理解一下？

Answer 1

你展示的NG公式不包括参数更新，它只包括梯度的计算。