如何从 Python 中的混淆矩阵中获取精度、召回率和 f-measure

Question

我正在使用 Python 并且有一些混淆矩阵。我想通过多类分类中的混淆矩阵来计算精度和召回率以及 f-measure。我的结果日志不包含 y_true 和 y_pred，只包含混淆矩阵。

你能告诉我如何从多类分类中的混淆矩阵中得到这些分数吗？

Answer 1

如果您有以下形式的混淆矩阵：

cmat = [[ 5,  7], 
        [25, 37]]

可以实现以下简单功能：

def myscores(smat): 
    tp = smat[0][0] 
    fp = smat[0][1] 
    fn = smat[1][0] 
    tn = smat[1][1] 
    return tp/(tp+fp), tp/(tp+fn)

测试：

print("precision and recall:", myscores(cmat))

输出：

precision and recall: (0.4166666666666667, 0.16666666666666666)

以上函数还可以扩展生成其他分数，公式见https://en.wikipedia.org/wiki/Confusion_matrix

Answer 2

让我们考虑 MNIST 数据 classification (10 classes) 的情况，其中对于 10,000 个样本的测试集，我们得到以下混淆矩阵 cm（Numpy 数组):

array([[ 963,    0,    0,    1,    0,    2,   11,    1,    2,    0],
       [   0, 1119,    3,    2,    1,    0,    4,    1,    4,    1],
       [  12,    3,  972,    9,    6,    0,    6,    9,   13,    2],
       [   0,    0,    8,  975,    0,    2,    2,   10,   10,    3],
       [   0,    2,    3,    0,  953,    0,   11,    2,    3,    8],
       [   8,    1,    0,   21,    2,  818,   17,    2,   15,    8],
       [   9,    3,    1,    1,    4,    2,  938,    0,    0,    0],
       [   2,    7,   19,    2,    2,    0,    0,  975,    2,   19],
       [   8,    5,    4,    8,    6,    4,   14,   11,  906,    8],
       [  11,    7,    1,   12,   16,    1,    1,    6,    5,  949]])

为了获得准确率和召回率（per class），我们需要根据 class 计算 TP、FP 和 FN。我们不需要 TN，但我们也会计算它，因为它会帮助我们进行健全性检查。

真阳性就是对角线元素：

# numpy should have already been imported as np
TP = np.diag(cm)
TP
# array([ 963, 1119,  972,  975,  953,  818,  938,  975,  906,  949])

误报是各列的总和，减去对角线元素（即 TP 元素）：

FP = np.sum(cm, axis=0) - TP
FP
# array([50, 28, 39, 56, 37, 11, 66, 42, 54, 49])

同样，假阴性是相应行的总和，减去对角线（即 TP）元素：

FN = np.sum(cm, axis=1) - TP
FN
# array([17, 16, 60, 35, 29, 74, 20, 53, 68, 60])

现在，True Negatives 有点棘手；让我们首先想一想真正的否定到底意味着什么，相对于 class 0：它意味着所有被正确识别为 而不是 0[ 的样本=53=]。所以，本质上我们应该做的是从混淆矩阵中删除相应的行和列，然后将所有剩余元素相加：

num_classes = 10 TN = [] for i in range(num_classes): temp = np.delete(cm, i, 0) # delete ith row temp = np.delete(temp, i, 1) # delete ith column TN.append(sum(sum(temp))) TN # [8970, 8837, 8929, 8934, 8981, 9097, 8976, 8930, 8972, 8942]

让我们做一个完整性检查：对于每个class，TP、FP、FN和TN的总和必须等于我们测试集的大小（这里是 10,000）：让我们确认确实是这样：

l = 10000 for i in range(num_classes): print(TP[i] + FP[i] + FN[i] + TN[i] == l)

结果是

True True True True True True True True True True

计算完这些数量后，现在可以直接获得每个 class:
的准确率和召回率
precision = TP/(TP+FP) recall = TP/(TP+FN)

在这个例子中是

precision # array([ 0.95064166, 0.97558849, 0.96142433, 0.9456838 , 0.96262626, # 0.986731 , 0.93426295, 0.95870206, 0.94375 , 0.9509018]) recall # array([ 0.98265306, 0.98590308, 0.94186047, 0.96534653, 0.97046843, # 0.91704036, 0.97912317, 0.94844358, 0.9301848 , 0.94053518])

类似地，我们可以计算相关量，例如特异性（回想一下，灵敏度与召回率是一回事）：

specificity = TN/(TN+FP)

我们示例的结果：

specificity # array([0.99445676, 0.99684151, 0.9956512 , 0.99377086, 0.99589709, # 0.99879227, 0.99270073, 0.99531877, 0.99401728, 0.99455011])

您现在应该能够为任何大小的混淆矩阵虚拟计算这些量。

Answer 3

有一个名为 'disarray' 的包。

所以，如果我有四个类 :

import numpy as np
a = np.random.randint(0,4,[100])
b = np.random.randint(0,4,[100])

我可以用disarray计算13个矩阵:

import disarray

# Instantiate the confusion matrix DataFrame with index and columns
cm = confusion_matrix(a,b)
df = pd.DataFrame(cm, index= ['a','b','c','d'], columns=['a','b','c','d'])
df.da.export_metrics()

给出：

如何从 Python 中的混淆矩阵中获取精度、召回率和 f-measure

How to get precision, recall and f-measure from confusion matrix in Python

python

machine-learning

confusion-matrix

scikit-learn

precision-recall