使用相同的输入，GridSearchCV 得分结果是否应该等于 cross_validate 的得分？

Question

我正在尝试使用 scikit-learn 并想为已执行的网格搜索的一个特定超参数组合重现交叉验证分数。

对于网格搜索，我使用了 GridSearchCV class 并为一个特定的超参数组合重现了结果，我使用了 cross_validate 具有完全相同拆分和class过滤器设置。

我的问题是我没有得到预期的分数结果，根据我的理解，这应该与两种方法中获得分数的相同计算完全相同。

我通过修复训练数据上使用的分割来确保从我的脚本中排除任何随机源。

在下面的代码片段中，给出了所述问题的示例。

import numpy as np
from sklearn.model_selection import cross_validate, StratifiedKFold, GridSearchCV
from sklearn.svm import NuSVC

np.random.seed(2018)

# generate random training features
X = np.random.random((100, 10))

# class labels
y = np.random.randint(2, size=100)

clf = NuSVC(nu=0.4, gamma='auto')

# Compute score for one parameter combination
grid = GridSearchCV(clf,
                    cv=StratifiedKFold(n_splits=10, random_state=2018),
                    param_grid={'nu': [0.4]},
                    scoring=['f1_macro'],
                    refit=False)

grid.fit(X, y)
print(grid.cv_results_['mean_test_f1_macro'][0])

# Recompute score for exact same input
result = cross_validate(clf,
                        X,
                        y,
                        cv=StratifiedKFold(n_splits=10, random_state=2018),
                        scoring=['f1_macro'])

print(result['test_f1_macro'].mean())

执行给定的片段会产生输出：

0.38414468864468865
0.3848840048840049

我原以为这些分数是完全相同的，因为它们是在相同的拆分上计算的，使用相同的训练数据和相同的 classifier。

Answer 1

因为mean_test_f1_macro不是所有折叠组合的简单平均，它是一个权重平均值，权重是测试折叠的大小。要了解有关参考 this 答案的实际实施的更多信息。

现在，要复制 GridSearchCV 结果，试试这个！

print('grid search cv result',grid.cv_results_['mean_test_f1_macro'][0])

# grid search cv result 0.38414468864468865

print('simple mean: ', result['test_f1_macro'].mean())

# simple mean:  0.3848840048840049

weights= [len(test) for (_, test) in StratifiedKFold(n_splits=10, random_state=2018).split(X,y)]
print('weighted mean: {}'.format(np.average(result['test_f1_macro'], axis=0, weights=weights)))

# weighted mean: 0.38414468864468865

使用相同的输入，GridSearchCV 得分结果是否应该等于 cross_validate 的得分？

Should GridSearchCV score results be equal to score of cross_validate using same input?

python

machine-learning

scikit-learn

cross-validation

grid-search