如何在caffe中选择批量大小

Question

据我所知，更大的批量大小可以使 的结果更准确。但是我不确定哪个批量大小是"good enough"。我想更大的批量总是更好，但似乎在某个时候，每增加一次批量，您的准确性只会略有提高。是否有寻找最佳批量大小的启发式或经验法则？

目前我有40000个训练数据和10000个测试数据。我的批量大小是默认值，训练时为 256，测试时为 50。我正在使用具有 8G 内存的 NVIDIA GTX 1080。

Answer 1

测试时批量大小不影响准确性，您应该将其设置为内存可以容纳的最大批量，这样验证步骤将花费更短的时间。

至于训练时批量大小，你是对的，更大的批量产生更稳定的训练。然而，拥有更大的批次会显着减慢训练速度。此外，每个时期的反向传播更新会更少。所以你不希望批量大小太大。使用默认值通常是一个很好的策略。

Answer 2

请参阅 my masters thesis, page 59 了解选择更大批量大小/更小批量大小的一些原因。你想看

• 收敛前的 epochs
• 每个纪元的时间：越高越好
• 生成的模型质量：越低越好（在我的实验中）

32 的批量大小适合我的数据集/模型/训练算法。