如何在没有注释的情况下在 PascalVOC 2012 或 COCO 测试集上测试模型?

How to test model on PascalVOC 2012 or COCO test sets when no annotations are provided for them?

我是计算机视觉领域的新手,所以如果问题有任何不当之处,我深表歉意。

我已经使用 PascalVOC 2012 数据集创建了一个分割模型,到目前为止我只能在 train 和 val 数据集上测试它。现在我想使用测试集测试我的模型,但是,它不提供任何注释,所以我不确定我可以做什么来衡量我的模型在测试数据上的性能。

我注意到其他数据集,比如COCO,没有提供测试数据的标注。

我很好奇发表了关于在这些数据集上训练的模型的论文的研究人员如何在这种情况下对测试数据进行测试,以及我可以做些什么来做同样的事情。

在此先感谢您的帮助!

许多主要数据集不发布测试集的主要原因是为了避免人们因过度拟合而报告不可靠的结果。

对于模型选择和 "informal" 评估,您应该将训练集分为训练集和验证集,并在后者上进行评估,而仅在第一个上进行训练。

那么研究人员如何在论文中报告测试集的结果?

一旦您有了想要评估的最终模型,您就可以将结果上传到评估服务器;通过这种方式,您可以对自己进行基准测试 w.r.t。最先进的技术,无需明确访问测试集。

示例:


附带说明:VOC2012 已经很老了,所以如果你真的需要它,也许你也可以找到测试集。例如,看看 Joseph Redmon 的 this mirror