使用 GridSearchCV 计算调整后的 R2

Question

我正在尝试将 GridSearchCV 与多个评分指标一起使用，其中之一是调整后的 R²。就我而言，后者并未在 scikit-learn 中实现。我想确认我的方法是否是实施调整后的 R².

的正确方法

使用 scikit-learn 中实现的分数（在下面的示例中 MAE 和 R²），我可以做如下所示的事情（在这个虚拟示例中我是忽略良好实践，例如特征缩放和 SVR 的适当迭代次数）：

import numpy as np
from sklearn.svm import SVR
from sklearn.metrics import make_scorer
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import r2_score, mean_absolute_error

#generate input
X = np.random.normal(75, 10, (1000, 2))
y = np.random.normal(200, 20, 1000)

#perform grid search
params = {"degree": [2, 3], "max_iter": [10]}
grid = GridSearchCV(SVR(), param_grid=params,
                    scoring={"MAE": "neg_mean_absolute_error", "R2": "r2"}, refit="R2")
grid.fit(X, y)

上面的示例将报告每个交叉验证分区的 MAE 和 R²，并将根据最佳 R^{2[= 重新拟合最佳参数32=]。在这个例子之后，我尝试使用自定义记分器来做同样的事情：}

def adj_r2(true, pred, p=2):
    '''p is the number of independent variables and n is the sample size'''
    n = true.size
    return 1 - ((1 - r2_score(true, pred)) * (n - 1))/(n-p-1)

scorer=make_scorer(adj_r2)
grid = GridSearchCV(SVR(), param_grid=params,
                    scoring={"MAE": "neg_mean_absolute_error", "adj R2": scorer}, refit="adj R2")
grid.fit(X, y)

#print(grid.cv_results_)

上面的代码似乎为“adj R2”得分手生成了值。我有两个问题：

上面使用的方法在技术上是否正确编码？
如果方法正确，我如何以动态方式定义p（独立变量的数量）？如您所见，我在定义函数时必须强制使用默认值，但我希望能够在 GridSearchCV.

Answer 1

首先，到目前为止，sklearn 中还没有调整后的 R2 分数，因为评分函数的 API 只需要 y_true 和 y_pred。因此，测量X的尺寸是不可能的。

我们可以解决 SearchCV 秒的问题。

记分员需要有 (estimator, X, y) 的签名。这已在 make_scorer here.

中交付

我在这里提供了一个更简化的版本来包装 r2 记分器。

def adj_r2(estimator, X, y_true):
    n, p = X.shape
    pred = estimator.predict(X)
    return 1 - ((1 - r2_score(y_true, pred)) * (n - 1))/(n-p-1)

grid = GridSearchCV(SVR(), param_grid=params, 
                    scoring={"MAE": "neg_mean_absolute_error", 
                             "adj R2": adj_r2}, refit="adj R2") 
grid.fit(X, y)

使用 GridSearchCV 计算调整后的 R2

calculate adjusted R2 using GridSearchCV

scoring

python-3.x

scikit-learn

gridsearchcv