如何保存和复用语义分割结果？

Question

我使用 detectron2 对图像进行运行语义分割。 Detectron2 具有用于可视化结果的预置函数。我有兴趣保存分割结果并在需要时解析它们。因此，我回溯了代码，发现 instances_to_coco_json 函数是输出分割结果的函数。我尝试保存结果。

结果格式如下：

 {
        "image_id": 1, 
        "segmentation": {
            "counts": "R[W<=Sf0001O000000000000000000000000000000000000000^_\?", 
            "size": [
                720, 
                1280
            ]
        }, 
        "category_id": 1, 
        "score": 0.992115
    },

我期望得到分割结果作为分割点的坐标，如下所示：

 "segmentation": [
            [
                662.1764705882352, 
                387, 
                686, 
                386.5882352941176, 
                686, 
                398, 
                662.7647058823529, 
                399
            ]

鉴于输出是 coco 格式，我该如何理解它？

Answer 1

要理解这个问题，您需要知道在 COCO 协议中有两种不同格式的掩码存储。一种是使用多边形，例如您的第二个示例，另一种是使用称为 RLE 的二进制数据压缩格式，您的第一个示例就是这种情况。

在COCO中，如果一个掩码以RLE格式存储，那么分割将是一个对象，其键为"counts"和"size"。如果检查 detectron2/detectron2/utils/visualizer.py，您会在 class GenericMask.

的构造函数中找到处理不同掩码格式的代码

您可以轻松地将 RLE 格式转换为二进制掩码或多边形，您还会发现位于 detectron2/tools/visualize_json_results.py 的可视化脚本非常有用。

TLDR:

简而言之，要将RLE分段转换为二进制掩码，只需运行以下脚本（假设您已经安装了COCO python api，这是检测2的先决条件):

import pycocotools.mask as mask_util

# Using the segment provided by your first example
segment = {'counts': 'R[W<=Sf0001O000000000000000000000000000000000000000^_\?',
 'size': [720, 1280]}
# Decode a binary mask of shape (720, 1280) from segment
mask = mask_util.decode(segment)[:, :]

如果您有兴趣将二进制蒙版转换为多边形，还有另一个名为 imantics 的包可以帮助您实现此目的：

import numpy as np
from imantics import Polygons, Mask

# This can be any array
array = np.ones((100, 100))

polygons = Mask(array).polygons()

print(polygons.points)
print(polygons.segmentation)

希望对您有所帮助。

如何保存和复用语义分割结果？

How to save and reuse semantic segmentation results?

computer-vision

image-segmentation

semantic-segmentation