如何在 COCO 数据集上加载预训练模型以进行图像分割？

Question

我想对我的视频文件中的对象进行语义分割。我更喜欢在 COCO 数据集（或 COCO stuff 数据集）上使用预训练模型，并开始使用它对我自己的视频文件进行语义分割和对象检测。我遇到的大多数话题都在讨论 COCO 数据集上的训练算法。我正在寻找可以直接用于对自己的视频文件进行分割的预训练模型（冻结图形文件）。

谁能指导我怎么做？

P.S。我可以使用来自 tensorflow model zoo 的预训练模型进行对象检测，但我无法将其扩展到对象分割。

Answer 1

我本周对从 iNaturalist.org 下载的图像进行了语义分割，结果很有希望。我最终使用的模型是 DeepLab v3 模型，它在存储库的 tensorflow 研究文件夹中很容易获得

• https://github.com/tensorflow/models/tree/master/research/deeplab.

请查看他们出色的现成分割演示：

• https://colab.research.google.com/github/tensorflow/models/blob/master/research/deeplab/deeplab_demo.ipynb.

翻翻笔记本。您实际上可以通过提供图像 url 在浏览器中对其进行测试，如笔记本中所述，以查看它是否满足您的需求。在那之后，如果您熟悉 tensorflow，手动下载他们的预训练模型之一应该相当容易，就像他们在演示中所做的一样，并设置一些在您的计算机上运行的东西。

我也找到了这个博客post

• http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review,

提供有关当今可用型号及其各自优缺点的信息

玩得开心！