如何实现removing/pruning 神经网络中的近零参数？

Question

我需要去除神经网络的近零权重，使参数分布远离零点。 The distribution of weights after removing nearzero weights and weight-scaling

我遇到这篇论文的问题：https://ieeexplore.ieee.org/document/7544366

我想知道如何在我的 PyTorch/TensorFlow 程序中实现这一点，例如使用自定义激活层？或者定义一个惩罚接近零权重的损失函数？

如果能提供帮助，谢谢。

Answer 1

您正在寻找 L1 正则化，read the docs。

import tensorflow as tf

tf.keras.layers.Dense(units=128,
                      kernel_regularizer=tf.keras.regularizers.L1(.1))

较小的系数将变为零。