Caffe：如果只有一小批适合内存怎么办？
Caffe: What can I do if only a small batch fits into memory?
我正在尝试训练一个非常大的模型。因此，我只能将非常小的批大小放入 GPU 内存中。使用小批量结果非常 .
我该怎么做才能避免这个问题？
如this post所述，batch size在理论上不是问题（随机梯度下降的效率已经用batch size 1证明了）。确保正确实施批处理（应根据数据随机选择样本）。
您可以更改求解器参数中的 iter_size。
Caffe 在每个随机梯度下降步骤中累积 iter_size x batch_size 个实例的梯度。
所以增加iter_size也可以在内存有限不能使用大batch_size时得到更稳定的渐变
我正在尝试训练一个非常大的模型。因此，我只能将非常小的批大小放入 GPU 内存中。使用小批量结果非常
我该怎么做才能避免这个问题？
如this post所述，batch size在理论上不是问题（随机梯度下降的效率已经用batch size 1证明了）。确保正确实施批处理（应根据数据随机选择样本）。
您可以更改求解器参数中的 iter_size。
Caffe 在每个随机梯度下降步骤中累积 iter_size x batch_size 个实例的梯度。
所以增加iter_size也可以在内存有限不能使用大batch_size时得到更稳定的渐变