正则化在 Tensorflow 近端 Adagrad 优化器中的应用

Question

我一直在尝试使用 Tensorflow 的 ProximalAdagradOptimizer 函数中的 l1_regularization_strength 参数在 Tensorflow 中实现 l1 正则化。 （我专门使用这个优化器来获得稀疏解。）我有两个关于正则化的问题。

1. 优化器中使用的 l1 正则化适用于神经网络的前向和反向传播还是仅适用于反向传播？
2. 有没有办法分解优化器，使正则化仅适用于网络中的特定层？

Answer 1

1. 正则化既不适用于前向传播也不适用于反向传播，而是适用于权重更新。

2. 您可以通过将要最小化的变量显式传递给每个优化器来为不同的层使用不同的优化器。