迷你批处理神经网络
Mini Batching Neural Network
我正在尝试为我自己的神经网络正确实施迷你批处理。
但是我无法理解要总结的是什么？我是否对权重和偏差求和梯度或增量权重（其中学习率已经乘以），在我的示例中是：
增量权重：activation'(neurons) ⊗ Error * learningRate x input
增量偏差：activation'(neurons) ⊗ Error * learningRate
我是否也将那些求和的增量权重或梯度除以批量大小？
编辑：
所以所有 个问题汇总：
- 没有学习率的delta权重叫梯度吗？
- 我是否需要将那些乘以或不乘以学习率的增量权重相加
- 所以我必须保存两个单独的渐变？ （偏差 + 权重）
经过一整夜的研究并查看了大量的博客/文章后，我得出了这些答案（对我有用！）
1) 没关系，人们都称 "gradient"
2) 没有
学习率
3) 是的，当完成批次时，你乘以
学习率（...并在实施时进行动量优化）
我正在尝试为我自己的神经网络正确实施迷你批处理。
但是我无法理解要总结的是什么？我是否对权重和偏差求和梯度或增量权重（其中学习率已经乘以），在我的示例中是：
增量权重：activation'(neurons) ⊗ Error * learningRate x input
增量偏差：activation'(neurons) ⊗ Error * learningRate
我是否也将那些求和的增量权重或梯度除以批量大小？
编辑：
所以所有 个问题汇总：
- 没有学习率的delta权重叫梯度吗？
- 我是否需要将那些乘以或不乘以学习率的增量权重相加
- 所以我必须保存两个单独的渐变？ （偏差 + 权重）
经过一整夜的研究并查看了大量的博客/文章后，我得出了这些答案（对我有用！）
1) 没关系，人们都称 "gradient"
2) 没有 学习率
3) 是的，当完成批次时，你乘以 学习率（...并在实施时进行动量优化）