使用深度神经网络对输入执行 LASSO 正则化?

Using Deep Neural Networks to perform LASSO regularization on inputs?

有人可以告诉我有关构建神经网络以对 NN 的输入执行 LASSO 正则化的任何建议吗?我正在寻找的是一个 DNN,它能够计算 LASSO 的经典成本函数优化,并能够在输出中为我提供我将通过 LASSO 获得的稀疏权重向量。

LASSO-regression 将权重的 L1 范数添加到成本函数。鼓励权重接近于零(也称为稀疏)。

同样可以在神经网络中完成,简称为权重正则化,参见here or here。例如,在 Keras 中,您可以将 regularizer-object 传递给层的构造函数,它会自动调整权重。

from tensorflow.keras import layers
from tensorflow.keras import regularizers

layer = layers.Dense(
    units=64,
    kernel_regularizer=regularizers.l1_l2(l1=1e-5, l2=1e-4),
    bias_regularizer=regularizers.l2(1e-4),
    activity_regularizer=regularizers.l2(1e-5)
)