我的验证损失低于我的训练损失，我应该摆脱正则化吗？
My validation loss is lower than my training loss, should I get rid of regularization?
我听过很多人谈论其中的一些原因，但他们从来没有真正回答是否应该修复它。我检查了我的数据集是否存在泄漏，并从 TFRecords 数据集中随机抽取 20% 作为我的验证集。我开始怀疑我的模型有太多正则化层。我应该减少正则化以使验证线位于训练线之上吗？或者它真的重要吗？
验证损失低于训练损失没有错。它仅取决于验证集的概率分布。如果你的模型中有很多 dropout，这种情况很容易发生，因为训练损失是在存在 dropout 的情况下计算的。在计算验证损失时，dropout 被禁用。问题是您的训练准确性处于可接受的水平。如果不是，则减少模型中的正则化。
我听过很多人谈论其中的一些原因，但他们从来没有真正回答是否应该修复它。我检查了我的数据集是否存在泄漏，并从 TFRecords 数据集中随机抽取 20% 作为我的验证集。我开始怀疑我的模型有太多正则化层。我应该减少正则化以使验证线位于训练线之上吗？或者它真的重要吗？
验证损失低于训练损失没有错。它仅取决于验证集的概率分布。如果你的模型中有很多 dropout，这种情况很容易发生，因为训练损失是在存在 dropout 的情况下计算的。在计算验证损失时，dropout 被禁用。问题是您的训练准确性处于可接受的水平。如果不是，则减少模型中的正则化。