mAP 随着训练张量流对象检测 SSD 而降低

mAP decreasing with training tensorflow object detection SSD

我正在尝试训练 SSD mobilenet 检测器来检测显微图像中的细胞核。我在 Ubuntu 16.04 上使用 tensorflow 对象检测 API 和 tensorflow(版本 1.4)的 GPU 实现。我的输入图像是带有注释细胞核的 256x256 RGB jpg 图块。

当我开始训练时,我发现 mAP 有了很好的增加,并且在大约 6k 全局步长(批量大小为 12)时,我可以检测到大多数细胞核,但是对同一个细胞核进行了多次检测。

奇怪的是,在这一点之后,mAP 开始下降,模型检测到的细胞核越来越少,尽管 TotalLoss 继续下降。在 100k 步,几乎没有检测到原子核。

我使用 SSD 的标准配置文件,只是我降低了 matched/unmatched 框的截止值。如果我不使用此修改,模型将难以检测到任何细胞核,因为它们是小物体并且重叠它们的框太少。

matcher {
  argmax_matcher {
    matched_threshold: 0.3
    unmatched_threshold: 0.3
    ignore_thresholds: false
    negatives_lower_than_unmatched: true
    force_match_for_each_row: true
  }

为什么尽管 TotalLoss 有所改善,但 mAP 和检测精度会随着时间的推移而降低?我对结果的直觉是,检测模型越来越准确(绝非误报)但灵敏度越来越低(大量漏报)。

非常感谢任何建议!

(这里有一些来自 tensorboard 的示例图片)

0 steps

1241 steps

53024 steps

92176 steps

好的,在对配置文件进行一些实验(=盲目猜测)之后,我想我找到了我的问题的答案 - 我把它放在这里希望其他人可以受益。

首先,mAP下降的原因可能是设置:

matched_threshold: 0.3
unmatched_threshold: 0.3

根据我的实验,将此设置(就像我所做的那样)降低到 0.5 以下似乎会使模型不稳定并使其在训练过程中崩溃(随着时间的推移 mAP 降低)。

其次,当试图检测显微图像中的细胞核时(这可能也适用于其他已知大小的小物体),SSD 似乎对锚点中的 min/max-setting 非常敏感发电机。

anchor_generator {
  ssd_anchor_generator {
    num_layers: 6
    min_scale: 0.2
    max_scale: 0.95

当我开始(并且不断失败)时,我使用了这个设置的球场估计,并且当玩弄不同的图像尺寸等时,突然在 128x128 像素处模型变得非常好,mAP 0.9 检测到更多或每个细胞都少。当试图弄清楚为什么它突然起作用时,我打印了图像中带注释对象的相对大小的直方图,我意识到我很幸运地使用了 128x128 模型配置文件并精确地达到了范围。

然后我回到所有其他模型和尺寸,当使用特定图像尺寸的细胞核尺寸的精确范围时,模型表现完美,即使在更大的图像尺寸(例如 512px)下原子核只占图像宽度的 3-15%。即使在 1024px 下采样到 512 并且细胞核仅覆盖图像宽度的 1-7%,只要精确指定尺寸范围,该模型也能正常运行。

对于我的应用程序,这实际上不是问题,因为我事先知道期望的特征大小,但对于更普遍的问题,我猜这是一个弱点..