如何计算两个嵌套数组的精度和召回率

Question

我有两个数组，例如：

correct = [['*','*'],['*','PER','*','GPE','ORG'],['GPE','*','*','*','ORG']]
predicted = [['PER','*'],['*','ORG','*','GPE','ORG'],['PER','*','*','*','MISC']]

正确和预测的长度相同（10K+）并且两个数组中每个位置元素的长度具有相同的长度。我想使用 python 计算这两个数组的精度、召回率和 f1 分数。我有以下 6 类： 'PER','ORG','MISC','LOC','*','GPE'

想要计算类中的 5 个（'*' 除外）的精度和召回率，还要找到 f1 分数。使用 python 执行此操作的有效方法是什么？

Answer 1

您必须如图 here 所示展平您的列表，然后使用 scikit-learn 中的 classification_report：

correct = [['*','*'],['*','PER','*','GPE','ORG'],['GPE','*','*','*','ORG']]
predicted = [['PER','*'],['*','ORG','*','GPE','ORG'],['PER','*','*','*','MISC']]
target_names = ['PER','ORG','MISC','LOC','GPE'] # leave out '*'

correct_flat = [item for sublist in correct for item in sublist]
predicted_flat = [item for sublist in predicted for item in sublist]

from sklearn.metrics import classification_report
print(classification_report(correct_flat, predicted_flat, target_names=target_names))

结果：

             precision    recall  f1-score   support

        PER       1.00      0.86      0.92         7
        ORG       1.00      0.50      0.67         2
       MISC       0.00      0.00      0.00         0
        LOC       0.50      0.50      0.50         2
        GPE       0.00      0.00      0.00         1

avg / total       0.83      0.67      0.73        12

在此特定示例中，您还会收到一条警告：

UndefinedMetricWarning: Recall and F-score are ill-defined and being set to 0.0 in labels with no true samples.

这是由于 'MISC' 没有出现在此处的真实标签中 (correct)，但可以说这不应该发生在您的真实数据中。

如何计算两个嵌套数组的精度和召回率

How to calculate precision and recall for two nested arrays

python

precision

machine-learning

scikit-learn

precision-recall