CNN 中完全连接参数的 L2 正则化

Question

在tensorflow的this示例中，它对全连接参数使用了L2正则化。:

regularizers = (tf.nn.l2_loss(fc1_weights) + tf.nn.l2_loss(fc1_biases) +
                  tf.nn.l2_loss(fc2_weights) + tf.nn.l2_loss(fc2_biases))

这是什么？为什么这里使用完全连接的参数？以及它如何提高性能？

Answer 1

一般来说，正则化项是添加到损失函数中的项，可防止模型过度拟合训练数据。他们通过鼓励学习模型的某些属性来做到这一点。

例如，

L2 参数正则化鼓励 所有 参数变小，而不是 peaky。这反过来会鼓励网络对输入向量的所有维度给予同等的关注。

维基百科 page 是对一般正则化的一个很好的介绍，您可以单击以深入了解具体的 L2 正则化。