将迁移学习中的小损失最小化为零损失

Question

我问这个问题是因为我注意到在比赛中人们倾向于将损失最小化为 0。我有一个“图像二进制分类”问题，我已经通过“来自scratch”迁移学习模型。我怎样才能将它进一步减少到 0？是再微调模型还是回去做图像特征工程？

另外，根据这里的图片，我想我遇到的是“梯度消失”而不是“过拟合”。如果是这样，下一步我该怎么做？

谢谢！

Answer 1

由于您正在尝试执行图像二元分类，如果您可以将训练和验证损失都最小化为 0，这基本上意味着您的网络 'perfectly' 经过训练可以识别所有验证图像，只需使用训练图像。发生这种情况时，我认为您最好获取 'harder' 数据供您的网络学习。

从你的图片来看，我认为你应该继续训练你的模型更多的 epoch，因为 val_loss 似乎还没有收敛；结果，没有 'overfitting'.

的迹象

关于 'vanished gradient'，无法从您的图片中看出，因为梯度消失的常见标志是权重逐渐下降到 0。要检查此问题，我认为您应该跟踪权重分布除了损失之外你的模型。