FPR 和 TPR 始终通过 SVC 获得 0.5 的 AUC

Question

我正在尝试使用 SVC 和分层 K 折获得分类器的 ROC 曲线，但是对于每一次折，FPR 和 TPR 都设置为 [0. 1.] 我仍然无法理解这里发生了什么：

代码

import numpy as np
from sklearn.model_selection import StratifiedKFold
import matplotlib.pyplot as plt

tprs = []
aucs = []
mean_fpr = np.linspace(0, 1, 100)

skf = StratifiedKFold(n_splits=5, shuffle=False)


fig, ax = plt.subplots()

i = 0

for train_idx, test_idx in skf.split(dataset, label):

   train_data, test_data = dataset[train_idx], dataset[test_idx]

   train_label, test_label = label[train_idx], label[test_idx]

   svc = SVC(C=0.03125, kernel='rbf',gamma=8 ,probability=True)

   svc.fit(train_data, train_label)
 
   score = svc.decision_function(test_data)
   predicted = svc.predict(test_data)
  
   fpr, tpr, thresholds = metrics.roc_curve(test_label, score)

   roc_auc = metrics.auc(fpr, tpr)

   interp_tpr = np.interp(mean_fpr, fpr, tpr)

   interp_tpr = np.interp(mean_fpr, fpr, tpr)
   interp_tpr[0] = 0.0
   tprs.append(interp_tpr)
   aucs.append(roc_auc)
   ax.plot(fpr, tpr, lw=1, alpha=0.3,
         label='ROC fold %d (AUC = %0.2f)' % (i, roc_auc))
   i+=1

ax.plot([0, 1], [0, 1], linestyle='--', lw=2, color='r',
    label='Chance', alpha=.8)

mean_tpr = np.mean(tprs, axis=0)
mean_tpr[-1] = 1.0
mean_auc = metrics.auc(mean_fpr, mean_tpr)
std_auc = np.std(aucs)
ax.plot(mean_fpr, mean_tpr, color='b',
    label=r'Mean ROC (AUC = %0.2f $\pm$ %0.2f)' % (mean_auc, std_auc),
    lw=2, alpha=.8)

std_tpr = np.std(tprs, axis=0)
tprs_upper = np.minimum(mean_tpr + std_tpr, 1)
tprs_lower = np.maximum(mean_tpr - std_tpr, 0)
ax.fill_between(mean_fpr, tprs_lower, tprs_upper, color='grey', alpha=.2,
            label=r'$\pm$ 1 std. dev.')

ax.set(xlim=[-0.05, 1.05], ylim=[-0.05, 1.05],
   title="Receiver operating characteristic example")
ax.legend(loc="lower right")
plt.show()

结果

请告诉我哪里出了问题。每次折叠的准确度在 60-65% 之间

Answer 1

您的 AUC = 0.5 并且您的线只是一条对角线，因为“mean_fpr”和“mean_tpr”具有完全相同的值。所以很自然地，它会是对角线。

您正在定义您的 mean_fpr：

mean_fpr = np.linspace(0, 1, 100)

结果是

array([0.        , 0.01010101, 0.02020202, 0.03030303, 0.04040404,
       0.05050505, 0.06060606, 0.07070707, 0.08080808, 0.09090909,
       0.1010101 , 0.11111111, 0.12121212, 0.13131313, 0.14141414,
       0.15151515, 0.16161616, 0.17171717, 0.18181818, 0.19191919,
       0.2020202 , 0.21212121, 0.22222222, 0.23232323, 0.24242424,
       0.25252525, 0.26262626, 0.27272727, 0.28282828, 0.29292929,
       0.3030303 , 0.31313131, 0.32323232, 0.33333333, 0.34343434,
       0.35353535, 0.36363636, 0.37373737, 0.38383838, 0.39393939,
       0.4040404 , 0.41414141, 0.42424242, 0.43434343, 0.44444444,
       0.45454545, 0.46464646, 0.47474747, 0.48484848, 0.49494949,
       0.50505051, 0.51515152, 0.52525253, 0.53535354, 0.54545455,
       0.55555556, 0.56565657, 0.57575758, 0.58585859, 0.5959596 ,
       0.60606061, 0.61616162, 0.62626263, 0.63636364, 0.64646465,
       0.65656566, 0.66666667, 0.67676768, 0.68686869, 0.6969697 ,
       0.70707071, 0.71717172, 0.72727273, 0.73737374, 0.74747475,
       0.75757576, 0.76767677, 0.77777778, 0.78787879, 0.7979798 ,
       0.80808081, 0.81818182, 0.82828283, 0.83838384, 0.84848485,
       0.85858586, 0.86868687, 0.87878788, 0.88888889, 0.8989899 ,
       0.90909091, 0.91919192, 0.92929293, 0.93939394, 0.94949495,
       0.95959596, 0.96969697, 0.97979798, 0.98989899, 1.        ])

然后你用

取tprs的平均值来分配mean_tpr

np.mean(tprs, axis=0)

但 tprs 只是一个数组，它包含与 mean_fpr 中相同的数组，所以它的平均值将再次是 mean_fpr，这就是为什么 mean_fpr 和 mean_tpr 相等。

而 tprs 只是一遍又一遍地包含 mean_fpr 的数组，因为您将它作为

添加到循环中

interp_tpr = np.interp(mean_fpr, fpr, tpr)

并且由于 fpr 和 tpr 只是 [0,1]，所以它在插值中产生相同的值。

所以现在你应该更好地理解你的 ROC 曲线只是一条对角线，因为 x 和 y 值相等（因此 AUC 也为 0.5）。

FPR 和 TPR 始终通过 SVC 获得 0.5 的 AUC

FPR and TPR always getting AUC of 0.5 with SVC

python

scikit-learn

svm

cross-validation

roc