OpenCV变换图像形状变换为给定的轮廓

Question

有谁知道如果图像 A 的形状是随机的，是否可以使用 OpenCV 或任何其他处理图像的 python 库将图像 A 的轮廓转换为图像 B 的轮廓？

这是我目前拥有的 2 张图片：

我已经能够找到灯泡的绘制轮廓并使用 bitwise_and 方法在其中插入一只狐狸，但它所做的是裁剪第二张图像，而我需要它来改变它的形状进入灯泡轮廓。

import cv2


src1 = cv2.imread('fox.png')
src2 = cv2.imread('bulb-contour-filled.png')

src2 = cv2.resize(src2, src1.shape[1::-1])

dst = cv2.bitwise_and(src1, src2)

cv2.imwrite('img_fin.jpg', dst)

灯泡原图：

狐狸原图：

灯泡轮廓：

Answer 1

概念

为此，我们需要将其切成三角形，并单独扭曲每个三角形。图像的起点应沿着原始图像的轮廓，终点应沿着目标形状的轮廓。

尽管下面我有 hard-coded 2 组点，您只需要找出最佳处理来检索 2 幅图像的轮廓 （每个点都需要相同的点数和顺序相同）。另外，我编写了一个交互式 OpenCV 程序，可以让我们轻松检索坐标。

代码

import cv2
import numpy as np

def triangles(points):
    points = np.where(points, points, 1)
    subdiv = cv2.Subdiv2D((*points.min(0), *points.max(0)))
    for pt in points:
        subdiv.insert(tuple(map(int, pt)))
    for pts in subdiv.getTriangleList().reshape(-1, 3, 2):
        yield [np.where(np.all(points == pt, 1))[0][0] for pt in pts]

def crop(img, pts):
    x, y, w, h = cv2.boundingRect(pts)
    img_cropped = img[y: y + h, x: x + w]
    pts[:, 0] -= x
    pts[:, 1] -= y
    return img_cropped, pts

def warp(img1, img2, pts1, pts2):
    img2 = img2.copy()
    for indices in triangles(pts1):
        img1_cropped, triangle1 = crop(img1, pts1[indices])
        img2_cropped, triangle2 = crop(img2, pts2[indices])
        transform = cv2.getAffineTransform(np.float32(triangle1), np.float32(triangle2))
        img2_warped = cv2.warpAffine(img1_cropped, transform, img2_cropped.shape[:2][::-1], None, cv2.INTER_LINEAR, cv2.BORDER_REFLECT_101)
        mask = np.zeros_like(img2_cropped)
        cv2.fillConvexPoly(mask, np.int32(triangle2), (1, 1, 1), 16, 0)
        img2_cropped *= 1 - mask
        img2_cropped += img2_warped * mask
    return img2

def resize(img, size):
    h, w = img.shape[:2]
    return cv2.resize(img, (int(w * size), int(h * size)))

img1 = resize(cv2.imread("dog.png"), 0.8)
img2 = resize(cv2.imread("bulb.png"), 0.8)

pts1 = np.array([[322, 508], [390, 475], [413, 425], [440, 367], [453, 305], [458, 289], [446, 202], [434, 139], [392, 104], [324, 94], [246, 97], [194, 101], [111, 127], [98, 185], [88, 240], [95, 306], [90, 363], [123, 431], [160, 487], [223, 508]])
pts2 = np.array([[459, 793], [513, 715], [541, 580], [552, 470], [583, 398], [633, 323], [643, 233], [616, 144], [557, 71], [470, 28], [354, 27], [264, 72], [206, 138], [179, 225], [178, 302], [236, 401], [266, 480], [278, 564], [297, 707], [357, 792]])

cv2.imshow("result", warp(img1, img2, pts1, pts2))
cv2.waitKey(0)
cv2.destroyAllWindows()

输出

解释

导入必要的库：

import cv2
import numpy as np

定义一个函数，triangles，它将接受一个坐标数组，points，并为将覆盖原始数组区域的三角形生成数组的 3 个索引列表坐标：

def triangles(points):
    points = np.where(points, points, 1)
    subdiv = cv2.Subdiv2D((*points.min(0), *points.max(0)))
    for pt in points:
        subdiv.insert(tuple(map(int, pt)))
    for pts in subdiv.getTriangleList().reshape(-1, 3, 2):
        yield [np.where(np.all(points == pt, 1))[0][0] for pt in pts]

定义一个函数 crop，它将接受一个图像数组 img 和一个包含三个坐标的数组 pts。它将 return 图像的一个矩形片段刚好适合由三个点组成的三角形，并且 return 三个坐标的数组转移到图像的 top-left 角：

def crop(img, pts):
    x, y, w, h = cv2.boundingRect(pts)
    img_cropped = img[y: y + h, x: x + w]
    pts[:, 0] -= x
    pts[:, 1] -= y
    return img_cropped, pts

定义一个函数，warp，它将接受 2 个图像数组，img1 和 img2，以及 2 个坐标数组，pts1 和 pts2.它将利用之前定义的 triangles 函数从第一个坐标数组迭代三角形，之前定义的 crop 函数在对应于三角形索引的坐标处裁剪两个图像并使用 cv2.warpAffine() 方法在迭代的当前三角形处扭曲图像：

def warp(img1, img2, pts1, pts2):
    img2 = img2.copy()
    for indices in triangles(pts1):
        img1_cropped, triangle1 = crop(img1, pts1[indices])
        img2_cropped, triangle2 = crop(img2, pts2[indices])
        transform = cv2.getAffineTransform(np.float32(triangle1), np.float32(triangle2))
        img2_warped = cv2.warpAffine(img1_cropped, transform, img2_cropped.shape[:2][::-1], None, cv2.INTER_LINEAR, cv2.BORDER_REFLECT_101)
        mask = np.zeros_like(img2_cropped)
        cv2.fillConvexPoly(mask, np.int32(triangle2), (1, 1, 1), 16, 0)
        img2_cropped *= 1 - mask
        img2_cropped += img2_warped * mask
    return img2

读入你的图片。请注意，我已经调整了图像的大小以更好地适合我的屏幕。如果删除调整大小的部分，则需要使用以下程序 re-adjust 点并获得更正的点集：

def resize(img, size):
    h, w = img.shape[:2]
    return cv2.resize(img, (int(w * size), int(h * size)))

img1 = resize(cv2.imread("dog.png"), 0.8)
img2 = resize(cv2.imread("bulb.png"), 0.8)

最后，定义2组点；第一组概述了第一张图像，第二组概述了第二张图像。使用之前定义的 warp 函数扭曲 img1 使其关键点与 img2 的关键点重叠并显示结果图像：

pts1 = np.array([[0, 0], [286, 0], [286, 198], [174, 198], [158, 116], [0, 97]])
pts2 = np.array([[80, 37], [409, 42], [416, 390], [331, 384], [291, 119], [111, 311]])

cv2.imshow("result", warp(img1, img2, pts1, pts2))
cv2.waitKey(0)
cv2.destroyAllWindows()

工具

使用下面的程序手动将点拖到每个图像上，并在real-time中查看扭曲效果。当然，与其手动执行此操作，不如检测两张图像的轮廓（确保它们的点数相同且顺序相同）:

import cv2
import numpy as np

def triangles(points):
    points = np.where(points, points, 1)
    subdiv = cv2.Subdiv2D((*points.min(0), *points.max(0)))
    for pt in points:
        subdiv.insert(tuple(map(int, pt)))
    for pts in subdiv.getTriangleList().reshape(-1, 3, 2):
        yield [np.where(np.all(points == pt, 1))[0][0] for pt in pts]

def crop(img, pts):
    x, y, w, h = cv2.boundingRect(pts)
    img_cropped = img[y: y + h, x: x + w]
    pts[:, 0] -= x
    pts[:, 1] -= y
    return img_cropped, pts

def warp(img1, img2, pts1, pts2):
    img2 = img2.copy()
    for indices in triangles(pts1):
        img1_cropped, triangle1 = crop(img1, pts1[indices])
        img2_cropped, triangle2 = crop(img2, pts2[indices])
        transform = cv2.getAffineTransform(np.float32(triangle1), np.float32(triangle2))
        img2_warped = cv2.warpAffine(img1_cropped, transform, img2_cropped.shape[:2][::-1], None, cv2.INTER_LINEAR, cv2.BORDER_REFLECT_101)
        mask = np.zeros_like(img2_cropped)
        cv2.fillConvexPoly(mask, np.int32(triangle2), (1, 1, 1), 16, 0)
        img2_cropped *= 1 - mask
        img2_cropped += img2_warped * mask
    return img2

def draw_circle(event, x, y, flags, param):
    pts = param
    if event == cv2.EVENT_LBUTTONDOWN:
        for pt in pts:
            dist = (pt[0] - x) ** 2 + (pt[1] - y) ** 2
            if dist < 225:
                active_pt[:] = pt
    elif event == cv2.EVENT_LBUTTONUP:
        active_pt[:] = 0
    elif event == cv2.EVENT_MOUSEMOVE:
        if np.any(active_pt):
            for pt in pts:
                if np.all(active_pt == pt):
                    pt[:] = active_pt[:] = x, y

def draw_circles(img, pts):
    img = img.copy()
    for i, (x, y) in enumerate(pts):
        cv2.circle(img, (x, y), 15, (0, 0, 255), -1)
        cv2.putText(img, str(i), (x - 10, y + 10), cv2.FONT_HERSHEY_COMPLEX, 0.8, (0, 0, 0), 2)
    return img

def resize(img, size):
    h, w = img.shape[:2]
    return cv2.resize(img, (int(w * size), int(h * size)))

img1 = resize(cv2.imread("dog.png"), 0.8)
img2 = resize(cv2.imread("bulb.png"), 0.8)

pts_count = 20

pts1 = np.arange(pts_count * 2).reshape((pts_count, 2))
pts2 = np.arange(pts_count * 2).reshape((pts_count, 2))

active_pt = np.array([0, 0])

cv2.namedWindow("image 1")
cv2.setMouseCallback('image 1', draw_circle, pts1)
cv2.namedWindow("image 2")
cv2.setMouseCallback('image 2', draw_circle, pts2)

pause = False
while True:
    cv2.imshow('image 1', draw_circles(img1, pts1))
    cv2.imshow('image 2', draw_circles(img2, pts2))
    if not pause:
        try:
            cv2.imshow("result", warp(img1, img2, pts1, pts2))
        except:
            pass
    key = cv2.waitKey(20)
    if key & 0xFF == ord("q"):
        break
    if key & 0xFF == ord("p"):
        pause = not pause
    
cv2.waitKey(0)
cv2.destroyAllWindows()

这是它如何工作的粗略演示（加速 x4）：

如果 real-time 扭曲在您的计算机上太慢，只需按 p 键暂停扭曲更新，然后再按一次恢复。

OpenCV变换图像形状变换为给定的轮廓

OpenCV transform image shape transformation into a given contour

python

numpy

opencv

opencv-contour

概念

代码

输出

解释

工具