mAP 随着训练张量流对象检测 SSD 而降低

Question

我正在尝试训练 SSD mobilenet 检测器来检测显微图像中的细胞核。我在 Ubuntu 16.04 上使用 tensorflow 对象检测 API 和 tensorflow（版本 1.4）的 GPU 实现。我的输入图像是带有注释细胞核的 256x256 RGB jpg 图块。

当我开始训练时，我发现 mAP 有了很好的增加，并且在大约 6k 全局步长（批量大小为 12）时，我可以检测到大多数细胞核，但是对同一个细胞核进行了多次检测。

奇怪的是，在这一点之后，mAP 开始下降，模型检测到的细胞核越来越少，尽管 TotalLoss 继续下降。在 100k 步，几乎没有检测到原子核。

我使用 SSD 的标准配置文件，只是我降低了 matched/unmatched 框的截止值。如果我不使用此修改，模型将难以检测到任何细胞核，因为它们是小物体并且重叠它们的框太少。

matcher {
  argmax_matcher {
    matched_threshold: 0.3
    unmatched_threshold: 0.3
    ignore_thresholds: false
    negatives_lower_than_unmatched: true
    force_match_for_each_row: true
  }

为什么尽管 TotalLoss 有所改善，但 mAP 和检测精度会随着时间的推移而降低？我对结果的直觉是，检测模型越来越准确（绝非误报）但灵敏度越来越低（大量漏报）。

非常感谢任何建议！

（这里有一些来自 tensorboard 的示例图片）

0 steps

1241 steps

53024 steps

92176 steps

Answer 1

好的，在对配置文件进行一些实验（=盲目猜测）之后，我想我找到了我的问题的答案 - 我把它放在这里希望其他人可以受益。

首先，mAP下降的原因可能是设置：

matched_threshold: 0.3
unmatched_threshold: 0.3

根据我的实验，将此设置（就像我所做的那样）降低到 0.5 以下似乎会使模型不稳定并使其在训练过程中崩溃（随着时间的推移 mAP 降低）。

其次，当试图检测显微图像中的细胞核时（这可能也适用于其他已知大小的小物体），SSD 似乎对锚点中的 min/max-setting 非常敏感发电机。

anchor_generator {
  ssd_anchor_generator {
    num_layers: 6
    min_scale: 0.2
    max_scale: 0.95

当我开始（并且不断失败）时，我使用了这个设置的球场估计，并且当玩弄不同的图像尺寸等时，突然在 128x128 像素处模型变得非常好，mAP 0.9 检测到更多或每个细胞都少。当试图弄清楚为什么它突然起作用时，我打印了图像中带注释对象的相对大小的直方图，我意识到我很幸运地使用了 128x128 模型配置文件并精确地达到了范围。

然后我回到所有其他模型和尺寸，当使用特定图像尺寸的细胞核尺寸的精确范围时，模型表现完美，即使在更大的图像尺寸（例如 512px）下原子核只占图像宽度的 3-15%。即使在 1024px 下采样到 512 并且细胞核仅覆盖图像宽度的 1-7%，只要精确指定尺寸范围，该模型也能正常运行。

对于我的应用程序，这实际上不是问题，因为我事先知道期望的特征大小，但对于更普遍的问题，我猜这是一个弱点..

mAP 随着训练张量流对象检测 SSD 而降低

mAP decreasing with training tensorflow object detection SSD

object-detection

tensorflow