具有多个输出的反向传播

Question

我目前正在编写一个神经网络模块，并且我已经了解一切如何只用一个输出。但是当有多个输出时，我被告知要总结每个输出的误差以计算损失函数，这对我来说没有任何意义，因为那样我们就不知道哪个 synapse/weight 负责对于错误。 例如，我们有一个形状为 2|1|2（输入、隐藏、输出）的神经网络... 因此，隐藏层中的神经元通过某种权重连接到每个输出神经元。如果我们现在向前传播并接收到每个输出神经元的误差并将该误差求和，则与隐藏层中的神经元连接的每个权重都会调整完全相同的量。如果我弄错了或者我理解错了，现在有人吗？

Answer 1

我想你误会了，损失函数通常是为反向传播的每个输出单独计算的。如果您想知道输出中的总错误以跟踪您的进度，那么我想您可以使用错误总和。