为什么模型的loss在每个epoch总是围绕1转？

Question

在训练过程中，我的模型损失是围绕“1”进行的。它没有收敛。我尝试了各种优化器，但它仍然显示相同的模式。我正在使用带有 tensorflow 后端的 keras。可能的原因是什么？任何帮助或参考 link 都将不胜感激。

这是我的模型：

def model_vgg19():
  vgg_model = VGG19(weights="imagenet", include_top=False, input_shape=(128,128,3))

  for layer in vgg_model.layers[:10]:
    layer.trainable = False

  intermediate_layer_outputs = get_layers_output_by_name(vgg_model, ["block1_pool", "block2_pool", "block3_pool", "block4_pool"])
  convnet_output = GlobalAveragePooling2D()(vgg_model.output)
  for layer_name, output in intermediate_layer_outputs.items():
    output = GlobalAveragePooling2D()(output)
    convnet_output = concatenate([convnet_output, output])

  convnet_output = Dense(2048, activation='relu')(convnet_output)
  convnet_output = Dropout(0.6)(convnet_output)
  convnet_output = Dense(2048, activation='relu')(convnet_output)
  convnet_output = Lambda(lambda  x: K.l2_normalize(x,axis=1)(convnet_output)

  final_model = Model(inputs=[vgg_model.input], outputs=convnet_output)

  return final_model


model=model_vgg19()

这是我的损失函数：

def hinge_loss(y_true, y_pred):
    y_pred = K.clip(y_pred, _EPSILON, 1.0-_EPSILON)
    loss = tf.convert_to_tensor(0,dtype=tf.float32)
    g = tf.constant(1.0, shape=[1], dtype=tf.float32)

    for i in range(0, batch_size, 3):
        try:
            q_embedding = y_pred[i+0]
            p_embedding = y_pred[i+1]
            n_embedding = y_pred[i+2]
            D_q_p =  K.sqrt(K.sum((q_embedding - p_embedding)**2))
            D_q_n = K.sqrt(K.sum((q_embedding - n_embedding)**2))
            loss = (loss + g + D_q_p - D_q_n)            
        except:
            continue
    loss = loss/(batch_size/3)
    zero = tf.constant(0.0, shape=[1], dtype=tf.float32)
    return tf.maximum(loss,zero)

Answer 1

绝对有问题的是你打乱了你的数据，然后试图从中学习三元组。

正如您在此处看到的那样：https://keras.io/models/model/ model.fit 在每个纪元中打乱您的数据，使您的三元组设置过时。尝试将 shuffle 参数设置为 false，看看会发生什么，也可能会出现不同的错误。

为什么模型的loss在每个epoch总是围绕1转？

Why model's loss is always revolving around 1 in every epoch?

deep-learning

loss-function

tf.keras