OpenCV图像拼接在右边界后留下空白区域

Question

我曾尝试运行用OpenCV 3.0拼接；结果很好，但也给了我一个黑色的空白区域。

for (int i = 0; i < best_matches.size(); i++)
{
    //-- Get the keypoints from the good matches  
    FirstImageMatchPT.push_back(keypoints1[best_matches[i].queryIdx].pt);
    SecondImageMatchPT.push_back(keypoints2[best_matches[i].trainIdx].pt);
}

vector<unsigned char> match_mask;
Mat MatchedImage = findHomography(SecondImageMatchPT, FirstImageMatchPT, CV_RANSAC);


cv::Mat result;
result = img_Right.clone();
warpPerspective(img_Right, result, MatchedImage, cv::Size(img_Left.cols + img_Right.cols, img_Left.rows));

cv::Mat half(result, cv::Rect(0, 0, img_Left.cols, img_Left.rows));
img_Left.copyTo(half);

'findHomography'的第一个变量是第二个（我的意思是右图）的匹配点，第二个是第一个（左图）的匹配点。

我交换变量的原因是，如果我运行下面的代码，它会裁剪左图并只显示左图和右图的匹配区域。（甚至有更大的空白区域）

for (int i = 0; i < best_matches.size(); i++)
{
    //-- Get the keypoints from the good matches  
    FirstImageMatchPT.push_back(keypoints1[best_matches[i].queryIdx].pt);
    SecondImageMatchPT.push_back(keypoints2[best_matches[i].trainIdx].pt);
}

vector<unsigned char> match_mask;
Mat MatchedImage = findHomography(FirstImageMatchPT, SecondImageMatchPT, CV_RANSAC);


cv::Mat result;
result = img_Left.clone();
warpPerspective(img_Left, result, MatchedImage, cv::Size(img_Left.cols + img_Right.cols, img_Left.rows));


cv::Mat half(result, cv::Rect(0, 0, img_Right.cols, img_Right.rows));
img_Right.copyTo(half);

你能告诉我如何为此制定正确的投资回报率吗？以及如何自动切掉那个空白区域？

Answer 1

您在最终图像中得到了黑色区域，因为 result 矩阵本质上比拼接结果可以填充的 canvas 大。您可以通过将 canvas 定义为与扭曲的 image/images 可以填充的大小完全相同来解决此问题。

单应矩阵定义了平面投影变换。使用此矩阵，您可以将一个平面（在您的情况下为右图）投影到另一个平面（左图）上。现在，您可以使用相同的矩阵来预测应用此平面投影变换后右侧图像的四个角将投影到的位置。

您正在计算此行中两个图像之间的单应性。

Mat MatchedImage = findHomography(SecondImageMatchPT, FirstImageMatchPT, CV_RANSAC);

您可以使用存储在 MatchedImage 中的相同单应矩阵 (3x3) 来估计第二张图像的四个角投影到 w.r.t 的位置。第一张图片。你右图的四个坐标如下

topLeft = {0.0, 0.0}, topRight = {W, 0.0}, bottomLeft = {0.0, H}, bottomRight = {W, H}

在齐次坐标中，这些将是，

topLeftH = {0.0, 0.0, 1.0}, topRightH = {W, 0.0, 1.0}, bottomLeftH = {0.0, H, 1.0}, bottomRightH = {W, H, 1.0}

您可以按如下方式计算这些角的投影坐标，

projTopLeft = HomographyMatrix . topLeftH projTopRight = HomographyMatrix . topRightH ...

这可以使用 OpenCV 函数完成，如下所示，

std::vector<Point2f> imageCorners(4);
imageCorners[0] = cvPoint(0,0); 
imageCorners[1] = cvPoint( img_right.cols, 0 );
imageCorners[2] = cvPoint( img_right.cols, img_right.rows );   
imageCorners[3] = cvPoint( 0, img_right.rows );
std::vector<Point2f> projectedCorners(4);

perspectiveTransform( imageCorners, projectedCorners, H);

找到投影角后，您可以使用新坐标计算最终 canvas 的大小。

在您的代码中，这些行应该更改，

cv::Mat result;
result = img_Right.clone();

到

cv::Mat result(cv::Size(COMPUTED_SIZE_AS_ABOVE), img_Right.type());

OpenCV图像拼接在右边界后留下空白区域

OpenCV image stitching leaves a blank region after the right boundary

opencv

panoramas

opencv-stitching