澄清反向传播
Clarification on back propagation
平时在家隔离太久的时候，我在考虑反向传播。
如果我的思维过程是正确的，那么为了计算权重更新，我们实际上不需要计算成本。我们只需要计算成本的导数。
这是正确的吗？
我想计算成本的唯一原因是检查网络是否真的在学习。
我真的相信我是对的，但在网上查了一下，似乎没有人做出这种观察。所以也许我错了。如果是，我对反向传播有很深的误解，我需要修正。
你是对的。
成本函数告诉您解决方案的成本是多少。梯度是携带有关如何降低成本的信息。
您可以通过任何恒定的加法或减法来转移成本，但这不会有什么不同，因为没有办法让这部分成本下降。
是的。反向传播（自动微分）需要梯度，而不是损失。一旦制定了前向路径，那么我们需要制定的梯度就可用了。
另一个理由是反向传播公式是没有损失值的链式法则
I really believe I am correct, but by checking on the internet no one seems to make this observation.
确实如此。 NN 文章或教科书总是谈论 Loss 但不清楚我们反向传播所需的全部是我们可以进行梯度下降的链式法则中的梯度。
平时在家隔离太久的时候，我在考虑反向传播。
如果我的思维过程是正确的，那么为了计算权重更新，我们实际上不需要计算成本。我们只需要计算成本的导数。
这是正确的吗？
我想计算成本的唯一原因是检查网络是否真的在学习。
我真的相信我是对的，但在网上查了一下，似乎没有人做出这种观察。所以也许我错了。如果是，我对反向传播有很深的误解，我需要修正。
你是对的。
成本函数告诉您解决方案的成本是多少。梯度是携带有关如何降低成本的信息。
您可以通过任何恒定的加法或减法来转移成本，但这不会有什么不同，因为没有办法让这部分成本下降。
是的。反向传播（自动微分）需要梯度，而不是损失。一旦制定了前向路径，那么我们需要制定的梯度就可用了。
另一个理由是反向传播公式是没有损失值的链式法则
I really believe I am correct, but by checking on the internet no one seems to make this observation.
确实如此。 NN 文章或教科书总是谈论 Loss 但不清楚我们反向传播所需的全部是我们可以进行梯度下降的链式法则中的梯度。