如何获得神经网络的ROC曲线？

Question

我正在尝试获取我的神经网络的 ROC 曲线。我的网络使用 pytorch，我使用 sklearn 来获取 ROC 曲线。我的模型输出二元对错还有概率输出。

output = model(batch_X)       
_, pred = torch.max(output, dim=1)

我给模型输入数据的两个样本（我做这部分是对的还是应该只是输入数据的 1 个样本而不是两者？）我采用概率（ _ ）和两个输入应该是什么的标签，然后像这样将其提供给 sklearn

nn_fpr, nn_tpr, nn_thresholds = roc_curve( "labels go here" , "probability go here" )

接下来我用它绘制。

plt.plot(nn_fpr,nn_tpr,marker='.')
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate' )
plt.show()

我的模型非常准确（108,000 个模型中有 0.0167% 是错误的），但我有一个凹形图，我被告知它通常不应该是凹形的。（附图）

我使用神经网络已有一段时间了，但从未有人要求我绘制 ROC 曲线。所以我的问题是，我这样做对吗？也应该是两个标签还是一个标签？我见过的所有神经网络示例都使用 Keras，如果我没记错的话，它具有概率函数。因此我不知道 PyTorch 是否以 sklearn 想要的方式输出概率。我能找到的所有其他示例都不是针对神经网络的，它们内置了概率函数。

Answer 1

函数 roc_curve expects 带有真实标签的数组 y_true 和带有正概率的数组 class y_score （通常表示 class 1).因此你需要的不是

_, pred = torch.max(output, dim=1)

但很简单（如果你的模型输出概率，这在 pytorch 中不是默认的）

probabilities = output[:, 1]

或者（如果你的模型输出 logits，这在 pytorch 中很常见）

import torch.nn.functional as F

probabilities = F.softmax(output, dim=1)[:, 1]

之后，假设带有真实标签的数组称为 labels，并且具有形状 (N,)，您将 roc_curve 称为：

y_score = probabilities.detach().numpy()
nn_fpr, nn_tpr, nn_thresholds = roc_curve(labels, y_score)

这样你会得到正确的结果（ torch.max 不是这样）

作为建议——对于二元class化，我建议使用末端带有 sigmoid 的模型和一个输出（正概率 class） , 比如:

model = nn.Sequential(nn.Linear(input_dim, hidden_dim), 
                      nn.ReLU(), 
                      nn.Linear(hidden_dim, 1), 
                      nn.Sigmoid())

这样你就可以用 nn.BCELoss, which expects probabilites (unlike nn.CrossEntropyLoss 训练模型，它需要 logits）。获取 roc 曲线的代码也变得更简单：

probabilites = model(batch_X)
y_score = probabilites.squeeze(-1).detach().numpy()
fpr, tpr, threshold = roc_curve(labels, y_score)

查看 gist 为神经网络 classificator 创建的 ROC 曲线。

如何获得神经网络的ROC曲线？

How to get the ROC curve of a neural network?

python

scikit-learn

neural-network

pytorch

roc