贴错标签的盒子是 Pascal VOC 指标中的误报吗?
Is a mislabeled box a False Positive in Pascal VOC metrics?
我正在使用 Tensorflow 对象检测 API 来训练自定义对象检测器。我决定使用 Pascal VOC 2010-2012 作为我的评估指标。一切都按预期进行,但我在理解误报结果背后的想法时遇到了问题。根据 Pascal VOC challenge 的官方文档,当 IoU 小于阈值(例如 .5)时就是假阳性。但是,我找不到任何来源提到具有高 IoU 的错误标记框是否也被视为误报或将被归类为忽略框(假阴性)。任何人都知道我在哪里可以找到有关此事的更多数据?
根据在以下位置找到的定义:https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/evaluation_protocols.md
A detection is a "false positive" if it is neither a "true positive"
nor "ignored".
看看这个例子(也是从上面的网站借来的):
在下图中,很明显,对于左上角的检测(检测是汽车,而ground truth是公共汽车,IoU metric
高于0.5)。
但是,由于ground truth是公交车,而detection是汽车,所以也被认为是误报。
***注意:虽然上面的例子属于OID例子,不是VOC,但是由于在VOC评估中使用了mAP,所以应该适用相同的标准。
根据下面的片段(摘自:http://host.robots.ox.ac.uk/pascal/VOC/voc2010/devkit_doc_08-May-2010.pdf)
Detections are considered true or false positives based on the area of
overlap with ground truth bounding boxes. To be considered a correct
detection, the area of overlap ao between the predicted bounding box Bp and
ground truth bounding box Bgt must exceed 50%.
由于在对象检测的情况下不存在假阴性的概念(如果您阅读了对象检测和分割的评估章节,则仅在分割级别),很明显您概述的情况被认为是误报。
我正在使用 Tensorflow 对象检测 API 来训练自定义对象检测器。我决定使用 Pascal VOC 2010-2012 作为我的评估指标。一切都按预期进行,但我在理解误报结果背后的想法时遇到了问题。根据 Pascal VOC challenge 的官方文档,当 IoU 小于阈值(例如 .5)时就是假阳性。但是,我找不到任何来源提到具有高 IoU 的错误标记框是否也被视为误报或将被归类为忽略框(假阴性)。任何人都知道我在哪里可以找到有关此事的更多数据?
根据在以下位置找到的定义:https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/evaluation_protocols.md
A detection is a "false positive" if it is neither a "true positive" nor "ignored".
看看这个例子(也是从上面的网站借来的):
在下图中,很明显,对于左上角的检测(检测是汽车,而ground truth是公共汽车,IoU metric
高于0.5)。
但是,由于ground truth是公交车,而detection是汽车,所以也被认为是误报。
***注意:虽然上面的例子属于OID例子,不是VOC,但是由于在VOC评估中使用了mAP,所以应该适用相同的标准。
根据下面的片段(摘自:http://host.robots.ox.ac.uk/pascal/VOC/voc2010/devkit_doc_08-May-2010.pdf)
Detections are considered true or false positives based on the area of overlap with ground truth bounding boxes. To be considered a correct detection, the area of overlap ao between the predicted bounding box Bp and ground truth bounding box Bgt must exceed 50%.
由于在对象检测的情况下不存在假阴性的概念(如果您阅读了对象检测和分割的评估章节,则仅在分割级别),很明显您概述的情况被认为是误报。