重新加载模型后 validation_loss 突然下降

Question

我正在 keras / tensorflow 中测试 cGAN，在 1000 个 epoch 之后我保存了模型。

一段时间后我恢复了

1. 生成器模型+权重
2. 判别器模型+权重
3. GAN 权重（重新创建模型）

这是结果 val_accuracy:

恢复模型后可以清楚地看到val_loss大幅下降

谁能解释一下 why/what 可能是造成这种情况的原因吗？

Answer 1

可能需要进一步的分析来证明这一点，但您可能只是无意中发现了一种名为“warm restarting”的技术。简单地说，你通常用退火学习训练你的模型，停止，重置学习率并重新开始。直觉上你给了模型跳出局部最小值的机会，这可能会导致观察到的行为。