反向传播是如何工作的?
How Backpropagation works?
我对深度学习中使用的反向传播算法有疑问。
当我们有 n 个训练样本时,我应该如何更新权重?
- 我应该更新每个样本的权重,然后在下一个样本中再次更新吗?
- 或者我应该取它们的平均值然后使用平均值?
请指导一下什么是合理的程序。
谢谢,
阿夫欣
都是理性的选择
两种方法都是正确的。分别叫"online"和"offline"学习
在线学习
在线机器学习用于数据以顺序方式可用的情况(摘自维基百科上的定义)。
线下学习
离线或"batch"学习可以在一次访问整个训练数据集时使用。使用批量学习的一个优点是提高了对局部最优的免疫力,但这是以增加训练网络的成本为代价的(网络通常需要额外的反向传播迭代)。
我对深度学习中使用的反向传播算法有疑问。
当我们有 n 个训练样本时,我应该如何更新权重?
- 我应该更新每个样本的权重,然后在下一个样本中再次更新吗?
- 或者我应该取它们的平均值然后使用平均值?
请指导一下什么是合理的程序。
谢谢, 阿夫欣
都是理性的选择
两种方法都是正确的。分别叫"online"和"offline"学习
在线学习在线机器学习用于数据以顺序方式可用的情况(摘自维基百科上的定义)。
线下学习离线或"batch"学习可以在一次访问整个训练数据集时使用。使用批量学习的一个优点是提高了对局部最优的免疫力,但这是以增加训练网络的成本为代价的(网络通常需要额外的反向传播迭代)。