如何计算我的 caffe 模型的精度、召回率和 F1 分数

Question

Framework: Caffe
Architecture: Mobilenet-SSD
Dataset: [Caltech Padestrain Detection Dataset][1]

我知道精确率、召回率、F1 分数和准确率的公式。我知道公式，但这里的问题是它的自动化

我可以手动计算所有内容，但问题在于对测试数据集中的约 10k 幅图像进行自动化计算

因为我可以看到图像并比较什么是误报等。但不确定如何使用计算机

因为我的模型可能会检测到一个人，但边界框稍大（坐标有点偏离）并且测试数据集标签准确

所以虽然检测正在进行但坐标不匹配。

如何解决计算准确率、召回率和准确率的问题？如果这不是正确的方法请提出正确的方法

Answer 1

嗯，好问题。我认为您应该定义您想要实际衡量的内容。 F1 score、precision和recall很容易。只要看看是否检测到一个人，或者你有一个误报并照常计算事情。为此使用 scikit。

现在介绍边界框、区域和坐标。你应该使用不同的指标！我推荐你 mAP（平均平均精度）。查看此 link 并随时在 Internet 上阅读更多相关信息。祝你的模特好运！

另一种选择是使用以下要点 confusionMatrix_convnet_test_BatchMode(VeryFast).py 使用 sklearn 构建混淆矩阵。