手动计算 Python 中的 AUC

Question

使用 R，我可以使用以下代码和 for 循环手动计算 [并绘制] AUC：

test = data.frame(cbind(dt$DV, predicted_prob))
colnames(test)[1] = 'DV' 
colnames(test)[2] = 'DV_pred_prob' 

TP = rep(NA,101)
FN = rep(NA,101)
FP = rep(NA,101)
TN = rep(NA,101)
Sensitivity = rep(NA,101)
Specificity = rep(NA,101)
AUROC = 0

for(i in 0:100){
  test$temp = 0
  test[test$DV_pred_prob > (i/100),"temp"] = 1
  TP[i+1] = nrow(test[test$DV==1 & test$temp==1,])
  FN[i+1] = nrow(test[test$DV==1 & test$temp==0,])
  FP[i+1] = nrow(test[test$DV==0 & test$temp==1,])
  TN[i+1] = nrow(test[test$DV==0 & test$temp==0,])
  Sensitivity[i+1] = TP[i+1] / (TP[i+1] + FN[i+1] )
  Specificity[i+1] = TN[i+1] / (TN[i+1] + FP[i+1] )
  if(i>0){
    AUROC = AUROC+0.5*(Specificity[i+1] - Specificity[i])*(Sensitivity[i+1] + 
Sensitivity[i])
  }
}

data = data.frame(cbind(Sensitivity,Specificity,id=(0:100)/100))

我试图在 Python 中编写相同的代码，但运行进入了错误 "TypeError: 'Series' objects are mutable, thus they cannot be hashed"

我是 Python 的新手，正在努力成为 R 和 Python 的双语者。有人能指出我解决这个问题的正确方向吗？

predictions = pd.DataFrame(predictions[1])
actual = pd.DataFrame(y_test)
test = pd.concat([actual.reset_index(drop=True), predictions], axis=1)
# Rename column Renew to 'actual' and '1' to 'predictions'
test.rename(columns={"Renew": "actual", 1: "predictions"}, inplace=True)

TP = np.repeat('NA', 101)
FN = np.repeat('NA', 101)
FP = np.repeat('NA', 101)
TN = np.repeat('NA', 101)
Sensitivity = np.repeat('NA', 101)
Specificity = np.repeat('NA', 101)
AUROC = 0

for i in range(100):
    test['temp'] = 0
    test[test['predictions'] > (i/100), "temp"] = 1
    TP[i+1] = [test[test["actual"]==1 and test["temp"]==1,]].shape[0]
    FN[i+1] = [test[test["actual"]==1 and test["temp"]==0,]].shape[0]
    FP[i+1] = [test[test["actual"]==0 and test["temp"]==1,]].shape[0]
    TN[i+1] = [test[test["actual"]==0 and test["temp"]==0,]].shape[0]
    Sensitivity[i+1] = TP[i+1] / (TP[i+1] + FN[i+1])
    Specificity[i+1] = TN[i+1] / (TN[i+1] + FP[i+1])
    if(i > 0):
            AUROC = AUROC+0.5*(Specificity[i+1] - Specificity[i])* 
(Sensitivity[i+1] + Sensitivity[i])

错误似乎发生在包含 (i/100) 的代码部分。

Answer 1

Pandas 索引没有按您期望的方式工作。您不能使用 df[rows, cols] 而是使用 .loc (https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.loc.html)

所以是的 - 你是对的，错误是由你的行引起的：

test[test['predictions'] > (i/100), "temp"] = 1。

要修复它，您可以使用：

test.loc[test['predictions'] > (i/100), "temp"] = 1.

... 然后您将运行进入以下 4 行格式的问题：

TP[i+1] = test[test["actual"]==1 and test["temp"]==1,].shape[0]

您需要将每个评估语句括在括号中并将您的 and 更改为 &。关于为什么会出现在这里的原因有很好的讨论：。所以你的代码应该是这样的：

TP[i+1] = len(test[(test["actual"]==1) & (test["temp"]==1)])

注意；我们可以使用 len 函数而不是数据帧 shape 属性的第一个元素来计算行数。不过，这只是我的偏好。

最后；你不能在 python 中设置 'NA' 值；你会使用 np.NAN。最后的 if 语句将失败，因为您将字符串数组作为占位符。我认为 np.zeros(101) 适合你。

你的完整代码和我的编辑：

predictions = pd.DataFrame(predictions[1])
actual = pd.DataFrame(y_test)
test = pd.concat([actual.reset_index(drop=True), predictions], axis=1)

# Rename column Renew to 'actual' and '1' to 'predictions'

test.columns = ['actual', 'predictions'] #<- You can assign column names using a list

TP = np.zeros(101)
FN = np.zeros(101)
FP = np.zeros(101)
TN = np.zeros(101)
Sensitivity = np.zeros(101)
Specificity = np.zeros(101)
AUROC = 0

for i in range(10):
    test['temp'] = 0
    test.loc[test['predictions'] > (i / 100), 'temp'] = 1
    TP[i+1] = len(test[(test["actual"]==1) & (test["temp"]==1)])
    FN[i+1] = len(test[(test["actual"]==1) & (test["temp"]==0)])
    FP[i+1] = len(test[(test["actual"]==0) & (test["temp"]==1)])
    TN[i+1] = len(test[(test["actual"]==0) & (test["temp"]==0)])
    Sensitivity[i+1] = TP[i+1] / (TP[i+1] + FN[i+1])
    Specificity[i+1] = TN[i+1] / (TN[i+1] + FP[i+1])
    if i > 0:
            AUROC += 0.5 * (Specificity[i+1] - Specificity[i]) *  (Sensitivity[i+1] + Sensitivity[i])

手动计算 Python 中的 AUC

Calculate AUC in Python by hand

python

for-loop

auc