classification_report 不平衡 class 的支持值指示

Question

我有一个不平衡的数据集，我正在尝试进行二进制 class化。我最终使用了几种算法 CatBoostClassifier 和 lightgbm 给了我比较好的结果。我有一个关于 classification_report 和 confusion_matrix.

的问题要问

从我的 classification_report 可以看出： -True Negatives: 1076, -False Positives: 0, -False Negatives: 1, -True Positives: 6.

Sensitivity : 0.86 和 Specificity 1.00 ，这意味着我的 false positive rate 是 0.0.

我觉得它确实表现得很好。

从 classification_report 它是否告诉您我的模型可能过度拟合或者它确实表现良好？

我问这个是因为 class 1 的 support （数量较少）是 7 而 class 0 是1076.

来自 link 它说：“支持是 class 中真实响应的样本数。” 但我不太明白这里的意思。

任何人都可以向我解释或让我知道我的算法是否过拟合或表现良好？

标签比例：

0    5550
1      60

分类报告

              precision    recall  f1-score   support

         0.0       1.00      1.00      1.00      1076
         1.0       1.00      0.86      0.92         7

    accuracy                           1.00      1083
   macro avg       1.00      0.93      0.96      1083
weighted avg       1.00      1.00      1.00      1083

混淆矩阵：

[[1076    0]
 [   1    6]]

Answer 1

class训练集和测试集的化验报告一起看会更好理解，只是看哪一个都不能确定在训练集或单独训练集上的表现。但是，如果我们假设您在此处显示的性能指标是针对测试集的，并且训练集中的性能也或多或少与您在测试集中观察到的相似，那么我会说该模型做得很好工作。 class 1 的召回率是 86%，因为它只构成数据集的 1% 非常好。

此外，支持度是指数据集中属于特定 class 的示例总数，例如，在您的情况下，class 0 的支持度是 5550 而 class 1 是 60

classification_report 不平衡 class 的支持值指示

indication of Support value of classification_report for imbalanced class

binary

classification

confusion-matrix

scikit-learn