LSTM 训练期间的训练损失高于验证损失

Question

我正在训练 LSTM 来预测时间序列。我试过一个编码器解码器，没有任何丢失。我将我的数据分为 70% 的训练和 30% 的验证。训练集和验证集的总分分别在 107 和 47 左右。然而，验证损失总是大于训练损失。下面是代码。

 seed(12346)
 tensorflow.random.set_seed(12346)
 Lrn_Rate=0.0005
 Momentum=0.8
 sgd=SGD(lr=Lrn_Rate, decay = 1e-6, momentum=Momentum, nesterov=True)
 adam=Adam(lr=Lrn_Rate, beta_1=0.9, beta_2=0.999, amsgrad=False)
 optimizernme=sgd
 optimizernmestr='sgd'
 callbacks= EarlyStopping(monitor='loss',patience=50,restore_best_weights=True)

 train_X1 = numpy.reshape(train_X1, (train_X1.shape[0], train_X1.shape[1], 1))
 test_X1 = numpy.reshape(test_X1, (test_X1.shape[0], test_X1.shape[1], 1))

 train_Y1 = train_Y1.reshape((train_Y1.shape[0],  train_Y1.shape[1], 1))
 test_Y1= test_Y1.reshape((test_Y1.shape[0],  test_Y1.shape[1], 1))

 model = Sequential()
 Hiddenunits=240
 DenseUnits=100
 n_features=1
 n_timesteps= look_back
 model.add(Bidirectional(LSTM(Hiddenunits, activation='relu', return_sequences=True,input_shape= 
 (n_timesteps, n_features))))#90,120 worked for us uk 
 model.add(Bidirectional(LSTM( Hiddenunits, activation='relu',return_sequences=False)))
 model.add(RepeatVector(1)) 
 model.add(Bidirectional(LSTM( Hiddenunits, activation='relu',return_sequences=True)))
 model.add(Bidirectional(LSTM(Hiddenunits, activation='relu', return_sequences=True)))

 model.add(TimeDistributed(Dense(DenseUnits, activation='relu'))) 
 model.add(TimeDistributed(Dense(1)))
 model.compile(loss='mean_squared_error', optimizer=optimizernme)
 
 
history=model.fit(train_X1,train_Y1,validation_data(test_X1,test_Y1),batch_size=batchsize,epochs=250,
              callbacks=[callbacks,TqdmCallback(verbose=0)],shuffle=True,verbose=0)

plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('model loss'+ modelcaption)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

训练损失将大于验证损失。训练损失=0.02，验证损失约为0.004，请看附图。我尝试了很多方法，包括退出和添加更多隐藏单元，但并没有解决问题。任何评论建议表示赞赏

Answer 1

与训练集相比，验证集的性能更好表明您的模型对训练数据过度拟合。听起来您已经尝试过使用和不使用 dropout 层（防止过度拟合）创建模型架构，但结果相似。

一种可能性是 data leakage，即在创建训练数据集时使用了训练数据之外的信息。例如，如果您一次对所有数据进行归一化或标准化，而不是分别对训练集和验证集进行归一化或标准化，那么您就是在训练数据中隐含地使用了验证数据，这将导致模型过度拟合。

LSTM 训练期间的训练损失高于验证损失

training loss during LSTM training is higher than validation loss

time-series

lstm

keras

encoder-decoder

trainingloss