如何使用 Detectron2 在视频上绘制我的训练模型结果？

Question

我刚开始使用 Detectron2。我想从本地驱动器加载视频。然后，使用 Detectron2 的 VideoVisualizer 使用我训练的模型进行检测。

我试图找到有关此的教程。但它不存在。请问我该怎么办？

谢谢

import detectron2
from detectron2.utils.logger import setup_logger
setup_logger()

# import some common libraries
import numpy as np
import tqdm
import cv2

# import some common detectron2 utilities
from detectron2 import model_zoo
from detectron2.engine import DefaultPredictor
from detectron2.config import get_cfg
from detectron2.utils.video_visualizer import VideoVisualizer
from detectron2.utils.visualizer import ColorMode, Visualizer
from detectron2.data import MetadataCatalog
import time

video = cv2.VideoCapture('gdrive/My Drive/video.mp4')
width = int(video.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))


cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
cfg.OUTPUT_DIR = 'gdrive/My Drive/mask_rcnn/'
cfg.MODEL.WEIGHTS = os.path.join(cfg.OUTPUT_DIR, "model_final.pth")
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.7  # set threshold for this model 
predictor = DefaultPredictor(cfg)

v = VideoVisualizer(MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), ColorMode.IMAGE)

Answer 1

首先，查看下面的教程（如果不想在自己的数据上训练，可以跳过训练部分）。 https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=Vk4gID50K03a

然后，看下面的代码对视频进行推理。 https://github.com/facebookresearch/detectron2/blob/master/demo/demo.py

如何使用 Detectron2 在视频上绘制我的训练模型结果？

How can I plot my trained model result on video using Detectron2?

python

facebook

object-detection

detectron