什么值可以进入 sklearn 中 HistGradientBoostingRegressor 的参数 l2_regularization

Question

我正在尝试在 sklearn 中调整 HistGradientBoostingRegressor 的超参数，并且想知道 l2_regularization 的可能值是什么，对我有用的其余参数网格看起来像这样 -

param_grid = {
    'learning_rate': [.1, .12],
    'max_iter': [1000, 1200],
    'min_samples_leaf': [15, 20],
    'max_depth': [None, 10, 20]
}

这里 0.12 的学习率和 1000 次迭代给出了足够好的结果。所以我想知道 l2_regularization 有什么样的价值？它们 .1, .2 是学习率还是整数？据我了解，l2 是用于正则化惩罚以减少模型中的方差。如有错误请指正

Answer 1

的确，正则化是添加到损失函数的约束。最小化损失函数的模型也必须最小化正则化项。因此，这将减少模型方差，因为它不会过度拟合。

l2_regularization 可接受的参数通常是 0 和 0.1 之间的对数标度，例如 0.1, 0.001, 0.0001。