BayesSearchCV 超参数依赖

Question

我正在使用 BayesSearchCV 以使用贝叶斯优化找到最佳超参数。使用 BayesSearchCV 的语法如下所示：

clas_model = LogisticRegression(max_iter=5000)
search_space =
{
    "penalty": Categorical(['l1', 'l2', 'elasticnet', 'none']),
    "solver": Categorical(['lbfgs', 'newton-cg', 'liblinear', 'sag', 'saga']),
    "fit_intercept": Categorical([True, False])
}


bayes_search = BayesSearchCV(clas_model, search_space, n_iter=12, scoring="accuracy", n_jobs=-1, cv=5)
bayes_search.fit(X, y.values.ravel(), callback=on_step)
predictions_al = cross_val_predict(bayes_search, X, y.values.ravel(), cv=folds)

在这种情况下，求解器'newton-cg'不接受惩罚'l1'，因此超参数之间存在依赖关系。有什么方法可以使用这个库进行配置吗？

Answer 1

通过查看 GridCV 或 RandomCV 等其他库，我意识到我们可以将不同的 search_spaces 提供到数组中，而这在 BayssianCV 中没有记录，但其他库中有一些没有详细信息的快速示例。

最后，由于求解器、惩罚和其他参数（此处描述 https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html）之间的高度依赖性，语法应如下所示：

clas_model = LogisticRegression(max_iter=5000)
search_space =
  [
   {
    "solver": Categorical(['liblinear']),
    "penalty": Categorical(['l1', 'l2']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['lbfgs', 'newton-cg', 'sag']),
    "penalty": Categorical(['l2', 'none']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['saga']),
    "penalty": Categorical(['l1', 'l2', 'none']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['saga']),
    "penalty": Categorical(['elasticnet']),
    "fit_intercept": Categorical([True, False]),
    "l1_ratio": Real(0, 1, prior='uniform'),
    #"warm_start": Categorical([True, False])
   },
  ]

“newton-cg”、“sag”和“lbfgs”求解器仅支持具有原始公式的 L2 正则化，或不支持正则化。 “liblinear”求解器同时支持 L1 和 L2 正则化，仅对 L2 惩罚具有对偶公式。 Elastic-Net 正则化仅由“saga”求解器支持。

BayesSearchCV 超参数依赖

BayesSearchCV hyperparameter dependency

python

parameters

machine-learning

hyperparameters