验证损失低于训练损失训练 LSTM

Question

我正在使用 tensorflow 中的 tf.learn 训练 LSTM。为此，我将数据分为训练 (90%) 和验证 (10%)。据我了解，模型通常比验证数据更适合训练数据，但我得到相反的结果。验证集的损失更低，准确度更高。

正如我在其他答案中所读到的，这可能是因为在验证期间未应用丢失。然而，当我从我的 LSTM 架构中删除 dropout 时，我的验证损失仍然低于训练损失（尽管差异更小）。

此外，每个时期结束时显示的损失不是每批损失的平均值（就像使用 Keras 时一样）。这是他上一批的损失。我也认为这可能是我结果的原因，但事实证明不是。

Training samples: 783
Validation samples: 87
--
Training Step: 4  | total loss: 1.08214 | time: 1.327s
| Adam | epoch: 001 | loss: 1.08214 - acc: 0.7549 | val_loss: 0.53043 - val_acc: 0.9885 -- iter: 783/783
--
Training Step: 8  | total loss: 0.41462 | time: 1.117s
| Adam | epoch: 002 | loss: 0.41462 - acc: 0.9759 | val_loss: 0.17027 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 12  | total loss: 0.15111 | time: 1.124s
| Adam | epoch: 003 | loss: 0.15111 - acc: 0.9984 | val_loss: 0.07488 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 16  | total loss: 0.10145 | time: 1.114s
| Adam | epoch: 004 | loss: 0.10145 - acc: 0.9950 | val_loss: 0.04173 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 20  | total loss: 0.26568 | time: 1.124s
| Adam | epoch: 005 | loss: 0.26568 - acc: 0.9615 | val_loss: 0.03077 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 24  | total loss: 0.11023 | time: 1.129s
| Adam | epoch: 006 | loss: 0.11023 - acc: 0.9863 | val_loss: 0.02607 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 28  | total loss: 0.07059 | time: 1.141s
| Adam | epoch: 007 | loss: 0.07059 - acc: 0.9934 | val_loss: 0.01882 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 32  | total loss: 0.03571 | time: 1.122s
| Adam | epoch: 008 | loss: 0.03571 - acc: 0.9977 | val_loss: 0.01524 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 36  | total loss: 0.05084 | time: 1.120s
| Adam | epoch: 009 | loss: 0.05084 - acc: 0.9948 | val_loss: 0.01384 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 40  | total loss: 0.22283 | time: 1.132s
| Adam | epoch: 010 | loss: 0.22283 - acc: 0.9714 | val_loss: 0.01227 - val_acc: 1.0000 -- iter: 783/783

使用的网络（注意dropout已被注释掉）：

def get_network_wide(frames, input_size, num_classes):
    """Create a one-layer LSTM"""
    net = tflearn.input_data(shape=[None, frames, input_size])
    #net = tflearn.lstm(net, 256, dropout=0.2)
    net = tflearn.fully_connected(net, num_classes, activation='softmax')
    net = tflearn.regression(net, optimizer='adam',
                             loss='categorical_crossentropy',metric='default', name='output1')
    return net

Plot of validation loss vs training loss

Answer 1

本质上这不一定是问题现象

发生这种情况的原因有很多，如下所述。

当您的训练数据难以在其上训练 on/learn 模式时，通常会发生这种情况，而验证集拥有 'easy' images/data 进行分类。同样适用于 LSTM/sequence 分类数据。
训练初期可能会出现验证损失小于训练损失+验证精度大于训练精度的情况。
在验证过程中，dropout 未启用，从而在验证集上获得更好的结果。
计算训练损失epoch-wise。在一个时期结束时，它是整个时期批量损失（累积）的平均值。网络在数据之间和数据内学习了 patterns/relationships，并且在针对验证进行测试时，它使用已经学习的信息，因此在验证时结果会更好。 TLosses [0.60,0.59,...0.3 (loss on TS at the end of the epoch)] -> VLosses [0.3,0.29,0.35] (because the model has already trained a lot as compared to the start of the epoch.

但是，您的训练集和验证集都非常小。只有在数据非常多（在本例中为数万甚至数十万）时才应进行这种拆分（90% 在 train 上，10% 在 validation/development 上）。另一方面，您的整个训练集（train + val）的样本少于 1000 个。 您需要更多数据，因为 LSTM well-known 需要大量训练数据。

那么，您可以尝试使用KFoldCrossValidation甚至StratifiedKFoldCrossValidation。这样，您将确保您没有手动创建非常 'easy' 验证集，你总是在上面测试；相反，你可以有 k-folds，其中 k-1 用于训练，1 用于验证；这样你就可以避免情况（1）。

答案就在数据中。 仔细准备，因为结果在很大程度上取决于数据质量（预处理数据、清理数据、创建相关training/validation/test集）。

验证损失低于训练损失训练 LSTM

Validation loss is lower than training loss training LSTM

python

tensorflow

lstm

tflearn