Lasagne - 为什么验证损失突出显示为绿色?
Lasagne - Why is the Validation Loss Highlighted Green?
我是 运行 MNIST 神经网络示例,在训练分类器时,验证损失列(和训练损失)有一些值以绿色突出显示。如果我的学习率是 0.01,所有都是绿色的,但是如果我将它增加到 0.1,只有一半会突出显示。
这个突出显示是什么意思?
输出示例:
在不了解内部结构的情况下,我看到了其中的规律。
- 只要有改进就为每一行着色(最小化 -> 它更低)
- 火车损失蓝色
- val-loss 绿色
- 当损失/验证确实增加时停止着色
- 一次性增加后不要再开始着色
不同的学习率会影响不同的 train-loss / val-loss 路径,因此可能会有不同的着色。
你的例子很适合那里,因为较低的学习率通常在降低损失(更多蓝色,更多绿色)方面更稳定(从迭代到迭代)。
我是 运行 MNIST 神经网络示例,在训练分类器时,验证损失列(和训练损失)有一些值以绿色突出显示。如果我的学习率是 0.01,所有都是绿色的,但是如果我将它增加到 0.1,只有一半会突出显示。
这个突出显示是什么意思?
输出示例:
在不了解内部结构的情况下,我看到了其中的规律。
- 只要有改进就为每一行着色(最小化 -> 它更低)
- 火车损失蓝色
- val-loss 绿色
- 当损失/验证确实增加时停止着色
- 一次性增加后不要再开始着色
不同的学习率会影响不同的 train-loss / val-loss 路径,因此可能会有不同的着色。
你的例子很适合那里,因为较低的学习率通常在降低损失(更多蓝色,更多绿色)方面更稳定(从迭代到迭代)。