使用 log_loss/roc_auc_score 或使用 scoring='neg_log_loss'/'roc_auc' 执行 cross_val_score 的不同结果（Scikit 学习）

Question

探索 Scikit 学习中的一些分类模型，我注意到我在执行交叉验证时获得的对数损失和 ROC AUC 的分数始终低于在整个训练集上拟合和预测时的分数（完成以检查是否过度拟合），对我来说没有意义的事情。具体来说，使用 cross_validate 我将得分设置为 ['neg_log_loss', 'roc_auc'] 并且在对训练集执行手动拟合和预测时我使用了度量函数 log_loss' 和 roc_auc_score.

为了弄清楚发生了什么，我编写了一个代码来手动执行交叉验证，以便能够在各种折叠上手动调用度量函数并将结果与 [=18 中的结果进行比较=].正如您在下面看到的，即使是这样我也得到了不同的结果！

from sklearn.model_selection import StratifiedKFold
kf = KFold(n_splits=3, random_state=42, shuffle=True)
log_reg = LogisticRegression(max_iter=1000)
for train_index, test_index in kf.split(dataset, dataset_labels):
    X_train, X_test = dataset[train_index], dataset[test_index]
    y_train, y_test = dataset_labels_np[train_index], dataset_labels_np[test_index]
    log_reg.fit(X_train, y_train)
    pr = log_reg.predict(X_test)
    ll = log_loss(y_test, pr)
    print(ll)


from sklearn.model_selection import cross_val_score
cv_ll = cross_val_score(log_reg, dataset_prepared_stand, dataset_labels, scoring='neg_log_loss',
                            cv=KFold(n_splits=3, random_state=42, shuffle=True))
print(abs(cv_ll))

输出：

4.795481869275026
4.560119170517534
5.589818973403791

[0.409817 0.32309  0.398375]

输出运行与ROC AUC相同的代码是：

0.8609669592272686
0.8678563239907938
0.8367147503682851

[0.925635 0.94032  0.910885]

为了确保代码编写正确，我还尝试了使用 'accuracy' 作为交叉验证评分和 accuracy_score 作为度量函数的代码，结果是一致的：

0.8611584327086882
0.8679727427597955
0.838160136286201

[0.861158 0.867973 0.83816 ]

有人能解释一下为什么在对数损失和 ROC AUC 情况下的结果不同吗？谢谢！

Answer 1

Log-loss和auROC都需要概率预测，而不是硬class预测。所以改变

pr = log_reg.predict(X_test)

至

pr = log_reg.predict_proba(X_test)[:, 1]

（下标是为了获取正 class 的概率，并假设你正在做二进制 class化）。

使用 log_loss/roc_auc_score 或使用 scoring='neg_log_loss'/'roc_auc' 执行 cross_val_score 的不同结果（Scikit 学习）

Different results using log_loss/roc_auc_score or performing cross_val_score with scoring='neg_log_loss'/'roc_auc' (Scikit learn)

python

classification

machine-learning

scikit-learn

auc