张量流中的正则化损失是什么?

What is regularization loss in tensorflow?

使用 Tensorflows 目标检测训练目标检测 DNN 时 API 它的可视化平台 Tensorboard 绘制了一个名为 regularization_loss_1

的标量

这是什么?我知道什么是正则化(使网络擅长通过 dropout 等各种方法进行泛化)但是我不清楚这个显示的损失可能是什么。

谢谢!

TL;DR: 只是正则化函数产生的额外损失。将其添加到网络的损失中并优化两者的总和

正如您正确陈述的那样,正则化方法用于帮助优化方法更好地泛化。 获得这一点的一种方法是向损失函数添加 正则化项 。该术语是一个通用函数,它修改 "global" 损失(如 网络损失 sum正则化损失),以便在所需方向上驱动优化算法。

比方说,无论出于何种原因,我都想鼓励权重尽可能接近零的优化解决方案。那么,一种方法是将网络权重的函数添加到网络产生的损失中(例如,权重的所有绝对值的按比例缩小的总和)。由于 优化算法最小化了全局损失 ,我的正则化项(当权重远离零时它很高)将把优化推向权重接近于零的解决方案。