什么时候停止训练神经网络?

When to stop training neural networks?

我正在尝试使用 RNN 进行特定领域的分类研究,并积累了数千万文本。由于整个数据集 运行 需要几天甚至几个月的时间,所以我只选择了其中的一小部分进行测试,比如 100 万文本(80% 用于训练,20% 用于验证)。我用词向量化对整个语料库进行了预训练,我还将 Dropout 应用于模型以避免过度拟合。当它在 12 小时内训练了 60000 条文本时,损失已经下降到相当低的水平,准确率为 97%。我是继续还是不继续?对继续训练有帮助吗?

它仍然是第一个 epoch 运行,我担心如果我现在停下来,模型将无法覆盖整个...

作为一般经验法则,您可能希望让模型停留在训练阶段,直到验证开始下降连续几次迭代。在那之后,模型已经对 over-fit 数据进行了分析。对于您的问题,由于训练模型需要很长时间,我建议您在第一个时期后停止训练并测试模型并确保代码中没有实现错误。如果模型具有可接受的准确度,则重新开始训练。