sklearn中Randomized Regression的正则化参数设置

Question

我正在使用sklearn随机回归，例如Randomized Logistic Regression。由于随机逻辑回归使用L1-penalty，因此需要设置正则化参数C（或Lasso中的alpha）。

为了找到 C 的良好价值，我通常使用如下所示的简单 GridSearchCV。

但是 RandomizedLogisticRegression() 不支持 GridSearchCV，因为它包含引导程序。相反，我尝试将典型的 LogisticRegression 与 GridSearchCV 结合使用。

params = {'C':[0.1, 1, 10]}
logi = LogisticRegression(penalty='l1')
clf = GridSearchCV(logi, params, cv=10)

我通过这种方式可以获得C，但是，当我将这个C值应用于随机逻辑回归时，没有选择任何属性。可能是GridSearchCV选的C比较低

所以，我想知道在使用随机回归时，是否还有其他好的方法来确定 C（或 alpha）的公允价值。

之前有一个，但我认为那个答案是针对典型的回归。

谁能给我一个主意吗？

Answer 1

因为 RandomizedLogisticRegression 用于特征选择，它需要作为管道的一部分进行交叉验证。您可以将 GridSearchCV 应用于 Pipeline，其中包含它作为特征选择步骤以及您选择的分类器。示例可能如下所示：

pipeline = Pipeline([
  ('fs', RandomizedLogisticRegression()),
  ('clf', LogisticRegression())
])

params = {'fs__C':[0.1, 1, 10]}

grid_search = GridSearchCV(pipeline, params)

sklearn中Randomized Regression的正则化参数设置

Regularization parameter setting for Randomized Regression in sklearn

python

regression

machine-learning

scikit-learn