Python OpenCV实时图像拼接（n=5）性能优化

Question

我需要即时拼接五个视频流。录制视频的摄像机并排安装在机架上，并且永远不会改变彼此的相对位置。因此，单应矩阵是静态的。

我正在遵循 this github repo 的方法：

从中间的图片开始，先向左拼接，再向右拼接其余图片。

该回购协议中的代码有效，但速度慢得令人痛苦。我已经能够显着提高它的性能（300 倍），但它仍然需要 0.25 秒来拼接五张图像的全景图（在 2015 Macbook Pro 上）。

缓慢的部分：将 cv2.warpPerspective(...) 的每个结果应用到拼接到该点的图像。我目前正在通过使用 alpha 通道并混合两个图像来做到这一点，受到 this SO answer 的启发。 正是这种混合使拼接变慢了。

（伪）代码：

def blend_transparent(background, foreground):
    overlay_img = foreground[:, :, :3]  # Grab the BRG planes 
    overlay_mask = foreground[:, :, 3:]  # And the alpha plane

    # Again calculate the inverse mask
    background_mask = 255 - overlay_mask

    # Turn the masks into three channel, so we can use them as weights
    overlay_mask = cv2.cvtColor(overlay_mask, cv2.COLOR_GRAY2BGR)
    background_mask = cv2.cvtColor(background_mask, cv2.COLOR_GRAY2BGR)

    # Create a masked out background image, and masked out overlay
    # We convert the images to floating point in range 0.0 - 1.0
    background_part = (background * (1 / 255.0)) * (background_mask * (1 / 255.0))
    overlay_part = (overlay_img * (1 / 255.0)) * (overlay_mask * (1 / 255.0))

    # And finally just add them together, and rescale it back to an 8bit integer image
    return np.uint8(
        cv2.addWeighted(background_part, 255.0, overlay_part, 255.0, 0.0)
    )


for image in right_images:
    warped_image = cv2.warpPerspective(image, ...)
    mask = np.zeros(
        (warped_image.shape[0], warped_image.shape[1], 4), 
        dtype="uint8"
    )
    mask[0 : previously_stitched.shape[0], 0 : previously_stitched.shape[1]] = previously_stitched
    mask_rgb = mask[:, :, :3]  # Grab the BRG planes
    previously_stitched = blend_transparent(mask_rgb, warped_image)

所以我的问题是：有没有办法以更有效的方式将变形图像应用于现有全景图？

我的完整工作代码在 this repository。

免责声明：我是一名网络开发人员，我对计算机视觉的了解非常有限。

Answer 1

当您的图像具有透明度时，Alpha 通道很有用，但这里您通过转换手动添加一个 Alpha 通道。这个通道可以用来存储计算，但我认为你会失去性能。我建议 blend_transparent 使用以下函数：

def blend_transparent(self, background, foreground):
    # Split out the transparency mask from the colour info
    overlay_img = foreground[:, :, :3]  # Grab the BRG planes

    res = background

    only_right = np.nonzero((np.sum(overlay_img, 2) != 0) * (np.sum(background,2) == 0))
    left_and_right = np.nonzero((np.sum(overlay_img, 2) != 0) * (np.sum(background,2) != 0))

    res[only_right] = overlay_img[only_right]
    res[left_and_right] = res[left_and_right]*0.5 + overlay_img[left_and_right]*0.5
    return res

如果当前未设置任何值，则在此处设置结果中右侧图像像素的值。如果已经设置了一个值，则计算左右值的平均值。计算时间除以1.6倍。

由于您的投影是冻结的，因此不需要每次都计算索引 only_right 和 left_and_right，我们可以计算一次并存储它们。这样做，您应该将计算时间除以 4。

Python OpenCV实时图像拼接（n=5）性能优化

Python OpenCV real time image stitching (n = 5) performance optimization

python

opencv

image-stitching