使用深度神经网络对输入执行 LASSO 正则化?
Using Deep Neural Networks to perform LASSO regularization on inputs?
有人可以告诉我有关构建神经网络以对 NN 的输入执行 LASSO 正则化的任何建议吗?我正在寻找的是一个 DNN,它能够计算 LASSO 的经典成本函数优化,并能够在输出中为我提供我将通过 LASSO 获得的稀疏权重向量。
LASSO-regression 将权重的 L1 范数添加到成本函数。鼓励权重接近于零(也称为稀疏)。
同样可以在神经网络中完成,简称为权重正则化,参见here or here。例如,在 Keras 中,您可以将 regularizer
-object 传递给层的构造函数,它会自动调整权重。
from tensorflow.keras import layers
from tensorflow.keras import regularizers
layer = layers.Dense(
units=64,
kernel_regularizer=regularizers.l1_l2(l1=1e-5, l2=1e-4),
bias_regularizer=regularizers.l2(1e-4),
activity_regularizer=regularizers.l2(1e-5)
)
有人可以告诉我有关构建神经网络以对 NN 的输入执行 LASSO 正则化的任何建议吗?我正在寻找的是一个 DNN,它能够计算 LASSO 的经典成本函数优化,并能够在输出中为我提供我将通过 LASSO 获得的稀疏权重向量。
LASSO-regression 将权重的 L1 范数添加到成本函数。鼓励权重接近于零(也称为稀疏)。
同样可以在神经网络中完成,简称为权重正则化,参见here or here。例如,在 Keras 中,您可以将 regularizer
-object 传递给层的构造函数,它会自动调整权重。
from tensorflow.keras import layers
from tensorflow.keras import regularizers
layer = layers.Dense(
units=64,
kernel_regularizer=regularizers.l1_l2(l1=1e-5, l2=1e-4),
bias_regularizer=regularizers.l2(1e-4),
activity_regularizer=regularizers.l2(1e-5)
)