NN 中的 Train loss、Valid loss 和 Train/Val 是什么意思

Question

我目前正在通过研究 MNIST 示例等示例来学习卷积神经网络。在神经网络的训练过程中，我经常看到这样的输出：

 Epoch  |  Train loss  |  Valid loss  |  Train / Val
--------|--------------|--------------|---------------
    50  |    0.004756  |    0.007043  |     0.675330
   100  |    0.004440  |    0.005321  |     0.834432
   250  |    0.003974  |    0.003928  |     1.011598
   500  |    0.002574  |    0.002347  |     1.096366
  1000  |    0.001861  |    0.001613  |     1.153796
  1500  |    0.001558  |    0.001372  |     1.135849
  2000  |    0.001409  |    0.001230  |     1.144821
  2500  |    0.001295  |    0.001146  |     1.130188
  3000  |    0.001195  |    0.001087  |     1.099271

除了纪元之外，有人可以解释一下每一列究竟代表什么以及这些值的含义吗？我看到很多关于基本 cnn 的教程，但我没有运行详细解释这一点。

Answer 1

除了用于训练网络的数据外，似乎还使用了一组保留的数据。训练损失是训练数据集的误差。验证损失是运行通过训练网络验证数据集后的错误。 Train/valid是两者的比值。

出乎意料的是，随着时代的增加，验证和训练误差都下降了。但是在某个时刻，虽然训练误差继续下降（网络对数据的学习越来越好），但验证误差开始上升——这就是 overfitting!

NN 中的 Train loss、Valid loss 和 Train/Val 是什么意思

What is Train loss, Valid loss, and Train/Val mean in NNs

machine-learning

neural-network

conv-neural-network

recurrent-neural-network