使用 OpenCV 从图像中提取给定坐标的多边形
Extracting polygon given coordinates from an image using OpenCV
我有如下一组要点：
<data:polygon>
<data:point x="542" y="107"/>
<data:point x="562" y="102"/>
<data:point x="582" y="110"/>
<data:point x="598" y="142"/>
<data:point x="600" y="192"/>
<data:point x="601" y="225"/>
<data:point x="592" y="261"/>
<data:point x="572" y="263"/>
<data:point x="551" y="245"/>
<data:point x="526" y="220"/>
<data:point x="520" y="188"/>
<data:point x="518" y="152"/>
<data:point x="525" y="127"/>
<data:point x="542" y="107"/
</data:polygon>
我想在图像中绘制由这些点定义的多边形，然后将其提取出来。我如何使用带有 python 的 OpenCV 来做到这一点？
使用cv2.fillConvexPoly 以便您可以指定二维点数组并定义一个遮罩，该遮罩填充由这些点定义的形状，在遮罩中为白色。如果多边形中定义的点是凸的（因此得名 fillConvexPoly），应该发出一些公平的警告。
然后我们可以将其转换为布尔掩码并使用它为您的图像建立索引以提取出您想要的像素。下面的代码生成一个名为 mask 的数组，它将包含您要从图像中保存的像素的布尔掩码。此外，数组 out 将包含所需的由多边形定义的提取子图像。请注意，图像被初始化为完全黑暗，并且要复制的唯一像素是由多边形定义的像素。
假设实际图像被称为img，并假设你的x和y点表示图像中的水平和垂直坐标，你可以这样做：
import numpy as np
import cv2
pts = np.array([[542, 107], [562, 102], [582, 110], [598, 142], [600, 192], [601, 225], [592, 261], [572, 263], [551, 245], [526, 220], [520, 188], [518, 152], [525, 127], [524, 107]], dtype=np.int32)
mask = np.zeros((img.shape[0], img.shape[1]))
cv2.fillConvexPoly(mask, pts, 1)
mask = mask.astype(np.bool)
out = np.zeros_like(img)
out[mask] = img[mask]
out 除了要复制的区域外，应该都是黑色的。如果你想显示这张图片，你可以这样做：
cv2.imshow('Extracted Image', out)
cv2.waitKey(0)
cv2.destroyAllWindows()
这将显示从多边形点提取的图像并等待您按下一个键。查看完图像后，只要显示器 window 有焦点，您就可以按任意键。
如果你想保存这个图像到文件，做这样的事情：
cv2.imwrite('output.png', out)
这会将图像保存到名为 output.png 的文件中。我指定 PNG 格式，因为它是无损的。
作为一个简单的测试，让我们定义一个300 x 700的白色图像，它远远超出了您所定义的最大坐标。让我们提取出由该多边形定义的区域并显示输出的样子。
img = 255*np.ones((300, 700, 3), dtype=np.uint8)
使用上面的测试图像，我们得到这个图像：
编辑
如果您想平移提取的图像使其位于中间，然后在边界框周围放置一个正方形，我建议的一个技巧是使用 cv2.remap to translate the image. Once you're done, use cv2.rectangle 绘制正方形。
cv2.remap 的工作原理是，对于输出中的每个像素，您需要指定要访问源图像中像素的位置的空间坐标。因为您最终将输出移动到图像的中心，所以您需要为目标图像中的每个 x 和 y 位置添加一个偏移量以获得源像素。
要找出移动图像的正确偏移量，只需找出多边形的质心，平移多边形使质心位于原点，然后重新平移它使其位于图像的中心。
使用我们上面定义的变量，您可以通过以下方式找到质心：
(meanx, meany) = pts.mean(axis=0)
找到质心后，将所有点减去该质心，然后添加适当的坐标以重新平移到图像的中心。图像的中心可以通过以下方式找到：
(cenx, ceny) = (img.shape[1]/2, img.shape[0]/2)
将坐标转换为整数也很重要，因为像素坐标是这样的：
(meanx, meany, cenx, ceny) = np.floor([meanx, meany, cenx, ceny]).astype(np.int32)
现在计算偏移量，就像我们之前讨论的那样：
(offsetx, offsety) = (-meanx + cenx, -meany + ceny)
现在，翻译您的图片。您需要为输出图像中的每个像素定义一个映射，其中对于目标图像中的每个点 (x,y)，您需要提供从源中采样的位置。我们计算的偏移量将每个源像素转换为目标位置。因为我们正在做 相反 ，对于每个目标像素，我们要找到从哪个源像素采样，我们必须 减去 偏移量，不加。所以，先正常定义一个(x,y)个点的网格，再减去偏移量。完成后，翻译图片：
(mx, my) = np.meshgrid(np.arange(img.shape[1]), np.arange(img.shape[0]))
ox = (mx - offsetx).astype(np.float32)
oy = (my - offsety).astype(np.float32)
out_translate = cv2.remap(out, ox, oy, cv2.INTER_LINEAR)
如果我们用上面的例子显示out_translate，这就是我们得到的：
酷！现在是时候在此图像的顶部绘制矩形。您所要做的就是找出矩形的左上角和右下角。这可以通过获取多边形的左上角和右下角并添加偏移量以将这些点移动到图像的中心来完成：
topleft = pts.min(axis=0) + [offsetx, offsety]
bottomright = pts.max(axis=0) + [offsetx, offsety]
cv2.rectangle(out_translate, tuple(topleft), tuple(bottomright), color=(255,0,0))
如果我们显示这张图片，我们得到：
以上代码在居中图像周围绘制了一个蓝色矩形。因此，从开始（提取像素区域）到结束（平移和绘制矩形）的完整代码是：
# Import relevant modules
import numpy as np
import cv2
# Define points
pts = np.array([[542, 107], [562, 102], [582, 110], [598, 142], [600, 192], [601, 225], [592, 261], [572, 263], [551, 245], [526, 220], [520, 188], [518, 152], [525, 127], [524, 107]], dtype=np.int32)
### Define image here
img = 255*np.ones((300, 700, 3), dtype=np.uint8)
# Initialize mask
mask = np.zeros((img.shape[0], img.shape[1]))
# Create mask that defines the polygon of points
cv2.fillConvexPoly(mask, pts, 1)
mask = mask.astype(np.bool)
# Create output image (untranslated)
out = np.zeros_like(img)
out[mask] = img[mask]
# Find centroid of polygon
(meanx, meany) = pts.mean(axis=0)
# Find centre of image
(cenx, ceny) = (img.shape[1]/2, img.shape[0]/2)
# Make integer coordinates for each of the above
(meanx, meany, cenx, ceny) = np.floor([meanx, meany, cenx, ceny]).astype(np.int32)
# Calculate final offset to translate source pixels to centre of image
(offsetx, offsety) = (-meanx + cenx, -meany + ceny)
# Define remapping coordinates
(mx, my) = np.meshgrid(np.arange(img.shape[1]), np.arange(img.shape[0]))
ox = (mx - offsetx).astype(np.float32)
oy = (my - offsety).astype(np.float32)
# Translate the image to centre
out_translate = cv2.remap(out, ox, oy, cv2.INTER_LINEAR)
# Determine top left and bottom right of translated image
topleft = pts.min(axis=0) + [offsetx, offsety]
bottomright = pts.max(axis=0) + [offsetx, offsety]
# Draw rectangle
cv2.rectangle(out_translate, tuple(topleft), tuple(bottomright), color=(255,0,0))
# Show image, wait for user input, then save the image
cv2.imshow('Output Image', out_translate)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('output.png', out_translate)
我有如下一组要点：
<data:polygon>
<data:point x="542" y="107"/>
<data:point x="562" y="102"/>
<data:point x="582" y="110"/>
<data:point x="598" y="142"/>
<data:point x="600" y="192"/>
<data:point x="601" y="225"/>
<data:point x="592" y="261"/>
<data:point x="572" y="263"/>
<data:point x="551" y="245"/>
<data:point x="526" y="220"/>
<data:point x="520" y="188"/>
<data:point x="518" y="152"/>
<data:point x="525" y="127"/>
<data:point x="542" y="107"/
</data:polygon>
我想在图像中绘制由这些点定义的多边形，然后将其提取出来。我如何使用带有 python 的 OpenCV 来做到这一点？
使用cv2.fillConvexPoly 以便您可以指定二维点数组并定义一个遮罩，该遮罩填充由这些点定义的形状，在遮罩中为白色。如果多边形中定义的点是凸的（因此得名 fillConvexPoly），应该发出一些公平的警告。
然后我们可以将其转换为布尔掩码并使用它为您的图像建立索引以提取出您想要的像素。下面的代码生成一个名为 mask 的数组，它将包含您要从图像中保存的像素的布尔掩码。此外，数组 out 将包含所需的由多边形定义的提取子图像。请注意，图像被初始化为完全黑暗，并且要复制的唯一像素是由多边形定义的像素。
假设实际图像被称为img，并假设你的x和y点表示图像中的水平和垂直坐标，你可以这样做：
import numpy as np
import cv2
pts = np.array([[542, 107], [562, 102], [582, 110], [598, 142], [600, 192], [601, 225], [592, 261], [572, 263], [551, 245], [526, 220], [520, 188], [518, 152], [525, 127], [524, 107]], dtype=np.int32)
mask = np.zeros((img.shape[0], img.shape[1]))
cv2.fillConvexPoly(mask, pts, 1)
mask = mask.astype(np.bool)
out = np.zeros_like(img)
out[mask] = img[mask]
out 除了要复制的区域外，应该都是黑色的。如果你想显示这张图片，你可以这样做：
cv2.imshow('Extracted Image', out)
cv2.waitKey(0)
cv2.destroyAllWindows()
这将显示从多边形点提取的图像并等待您按下一个键。查看完图像后，只要显示器 window 有焦点，您就可以按任意键。
如果你想保存这个图像到文件，做这样的事情：
cv2.imwrite('output.png', out)
这会将图像保存到名为 output.png 的文件中。我指定 PNG 格式，因为它是无损的。
作为一个简单的测试，让我们定义一个300 x 700的白色图像，它远远超出了您所定义的最大坐标。让我们提取出由该多边形定义的区域并显示输出的样子。
img = 255*np.ones((300, 700, 3), dtype=np.uint8)
使用上面的测试图像，我们得到这个图像：
编辑
如果您想平移提取的图像使其位于中间，然后在边界框周围放置一个正方形，我建议的一个技巧是使用 cv2.remap to translate the image. Once you're done, use cv2.rectangle 绘制正方形。
cv2.remap 的工作原理是，对于输出中的每个像素，您需要指定要访问源图像中像素的位置的空间坐标。因为您最终将输出移动到图像的中心，所以您需要为目标图像中的每个 x 和 y 位置添加一个偏移量以获得源像素。
要找出移动图像的正确偏移量，只需找出多边形的质心，平移多边形使质心位于原点，然后重新平移它使其位于图像的中心。
使用我们上面定义的变量，您可以通过以下方式找到质心：
(meanx, meany) = pts.mean(axis=0)
找到质心后，将所有点减去该质心，然后添加适当的坐标以重新平移到图像的中心。图像的中心可以通过以下方式找到：
(cenx, ceny) = (img.shape[1]/2, img.shape[0]/2)
将坐标转换为整数也很重要，因为像素坐标是这样的：
(meanx, meany, cenx, ceny) = np.floor([meanx, meany, cenx, ceny]).astype(np.int32)
现在计算偏移量，就像我们之前讨论的那样：
(offsetx, offsety) = (-meanx + cenx, -meany + ceny)
现在，翻译您的图片。您需要为输出图像中的每个像素定义一个映射，其中对于目标图像中的每个点 (x,y)，您需要提供从源中采样的位置。我们计算的偏移量将每个源像素转换为目标位置。因为我们正在做 相反 ，对于每个目标像素，我们要找到从哪个源像素采样，我们必须 减去 偏移量，不加。所以，先正常定义一个(x,y)个点的网格，再减去偏移量。完成后，翻译图片：
(mx, my) = np.meshgrid(np.arange(img.shape[1]), np.arange(img.shape[0]))
ox = (mx - offsetx).astype(np.float32)
oy = (my - offsety).astype(np.float32)
out_translate = cv2.remap(out, ox, oy, cv2.INTER_LINEAR)
如果我们用上面的例子显示out_translate，这就是我们得到的：
酷！现在是时候在此图像的顶部绘制矩形。您所要做的就是找出矩形的左上角和右下角。这可以通过获取多边形的左上角和右下角并添加偏移量以将这些点移动到图像的中心来完成：
topleft = pts.min(axis=0) + [offsetx, offsety]
bottomright = pts.max(axis=0) + [offsetx, offsety]
cv2.rectangle(out_translate, tuple(topleft), tuple(bottomright), color=(255,0,0))
如果我们显示这张图片，我们得到：
以上代码在居中图像周围绘制了一个蓝色矩形。因此，从开始（提取像素区域）到结束（平移和绘制矩形）的完整代码是：
# Import relevant modules
import numpy as np
import cv2
# Define points
pts = np.array([[542, 107], [562, 102], [582, 110], [598, 142], [600, 192], [601, 225], [592, 261], [572, 263], [551, 245], [526, 220], [520, 188], [518, 152], [525, 127], [524, 107]], dtype=np.int32)
### Define image here
img = 255*np.ones((300, 700, 3), dtype=np.uint8)
# Initialize mask
mask = np.zeros((img.shape[0], img.shape[1]))
# Create mask that defines the polygon of points
cv2.fillConvexPoly(mask, pts, 1)
mask = mask.astype(np.bool)
# Create output image (untranslated)
out = np.zeros_like(img)
out[mask] = img[mask]
# Find centroid of polygon
(meanx, meany) = pts.mean(axis=0)
# Find centre of image
(cenx, ceny) = (img.shape[1]/2, img.shape[0]/2)
# Make integer coordinates for each of the above
(meanx, meany, cenx, ceny) = np.floor([meanx, meany, cenx, ceny]).astype(np.int32)
# Calculate final offset to translate source pixels to centre of image
(offsetx, offsety) = (-meanx + cenx, -meany + ceny)
# Define remapping coordinates
(mx, my) = np.meshgrid(np.arange(img.shape[1]), np.arange(img.shape[0]))
ox = (mx - offsetx).astype(np.float32)
oy = (my - offsety).astype(np.float32)
# Translate the image to centre
out_translate = cv2.remap(out, ox, oy, cv2.INTER_LINEAR)
# Determine top left and bottom right of translated image
topleft = pts.min(axis=0) + [offsetx, offsety]
bottomright = pts.max(axis=0) + [offsetx, offsety]
# Draw rectangle
cv2.rectangle(out_translate, tuple(topleft), tuple(bottomright), color=(255,0,0))
# Show image, wait for user input, then save the image
cv2.imshow('Output Image', out_translate)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('output.png', out_translate)