undistort 与 undistortPoints 用于校准图像的特征匹配
undistort vs. undistortPoints for feature matching of calibrated images
我试图找到捕获同一场景的两个摄像机(或者实际上是一个移动摄像机)之间的欧氏变换,其中校准数据 K(固有参数)和 d(失真系数)是已知的。
我通过提取特征点、匹配它们并使用最佳匹配作为对应来做到这一点。
在 resizing/feature detection/etc 之前。我 undistort
两张图片
undistort(img_1, img_1_undist, K, d);
undistort(img_2, img_2_undist, K, d);
其中img_.
是由imread
获得的Mat
形式的输入。但实际上我只需要我最终用作对应的特征的未失真坐标,而不是所有图像像素的坐标,所以它会更有效率,而不是 undistort
整个图像,而只是关键点。我以为我可以用 undistortPoints
做到这一点,但是这两种方法会导致不同的结果。
我调整图片大小
resize(img_1_undist, img_1_undist, Size(img_1_undist.cols / resize_factor,
img_1_undist.rows / args.resize_factor));
resize(img_2_undist, img_2_undist, Size(img_2_undist.cols / resize_factor,
img_2_undist.rows / args.resize_factor));
// scale matrix down according to changed resolution
camera_matrix = camera_matrix / resize_factor;
camera_matrix.at<double>(2,2) = 1;
在 matches
中获得最佳匹配后,我为所述匹配的坐标构建 std::vector
s,
// Convert correspondences to vectors
vector<Point2f>imgpts1,imgpts2;
cout << "Number of matches " << matches.size() << endl;
for(unsigned int i = 0; i < matches.size(); i++)
{
imgpts1.push_back(KeyPoints_1[matches[i].queryIdx].pt);
imgpts2.push_back(KeyPoints_2[matches[i].trainIdx].pt);
}
然后我用它来寻找基本矩阵。
Mat mask; // inlier mask
vector<Point2f> imgpts1_undist, imgpts2_undist;
imgpts1_undist = imgpts1;
imgpts2_undist = imgpts2;
/* undistortPoints(imgpts1, imgpts1_undist, camera_matrix, dist_coefficients,Mat(),camera_matrix); // this doesn't work */
/* undistortPoints(imgpts2, imgpts2_undist, camera_matrix, dist_coefficients,Mat(),camera_matrix); */
Mat E = findEssentialMat(imgpts1_undist, imgpts2_undist, 1, Point2d(0,0), RANSAC, 0.999, 8, mask);
当我删除对 undistort
的调用并改为在关键点上调用 undistortPoints
时,它不会产生相同的结果(这是我所期望的)。差异有时很小,但始终存在。
我阅读了文档
The function is similar to cv::undistort and cv::initUndistortRectifyMap but it operates on a sparse set of points instead of a raster image.
这样函数就可以达到我的预期。
我做错了什么?
您看到了差异,因为对图像进行矫正和对一组点进行矫正的工作方式非常不同。
图像使用 inverse mapping 未失真,这与通常用于所有几何图像变换(例如旋转)的方法相同。您首先创建输出图像网格,然后将输出图像中的每个像素转换回输入图像,并通过插值获得值。
由于您的输出图像包含 "correct" 个点,您必须 "distort" 它们才能将它们转换为原始图像。换句话说,您只需应用失真方程即可。
另一方面,如果您从输入图像中提取点并尝试消除失真,则需要反转失真方程。这很难做到,因为这些方程是 4 次或 6 次多项式。所以 undistortPoints
使用梯度下降以数值方式进行计算,这会有一些误差。
总而言之:undistort
函数消除了整个图像的失真,这可能有点矫枉过正,但它做得相当准确。如果您只对一小部分点感兴趣,undistortPoints
可能会更快,但也可能有更高的误差。
我试图找到捕获同一场景的两个摄像机(或者实际上是一个移动摄像机)之间的欧氏变换,其中校准数据 K(固有参数)和 d(失真系数)是已知的。 我通过提取特征点、匹配它们并使用最佳匹配作为对应来做到这一点。
在 resizing/feature detection/etc 之前。我 undistort
两张图片
undistort(img_1, img_1_undist, K, d);
undistort(img_2, img_2_undist, K, d);
其中img_.
是由imread
获得的Mat
形式的输入。但实际上我只需要我最终用作对应的特征的未失真坐标,而不是所有图像像素的坐标,所以它会更有效率,而不是 undistort
整个图像,而只是关键点。我以为我可以用 undistortPoints
做到这一点,但是这两种方法会导致不同的结果。
我调整图片大小
resize(img_1_undist, img_1_undist, Size(img_1_undist.cols / resize_factor,
img_1_undist.rows / args.resize_factor));
resize(img_2_undist, img_2_undist, Size(img_2_undist.cols / resize_factor,
img_2_undist.rows / args.resize_factor));
// scale matrix down according to changed resolution
camera_matrix = camera_matrix / resize_factor;
camera_matrix.at<double>(2,2) = 1;
在 matches
中获得最佳匹配后,我为所述匹配的坐标构建 std::vector
s,
// Convert correspondences to vectors
vector<Point2f>imgpts1,imgpts2;
cout << "Number of matches " << matches.size() << endl;
for(unsigned int i = 0; i < matches.size(); i++)
{
imgpts1.push_back(KeyPoints_1[matches[i].queryIdx].pt);
imgpts2.push_back(KeyPoints_2[matches[i].trainIdx].pt);
}
然后我用它来寻找基本矩阵。
Mat mask; // inlier mask
vector<Point2f> imgpts1_undist, imgpts2_undist;
imgpts1_undist = imgpts1;
imgpts2_undist = imgpts2;
/* undistortPoints(imgpts1, imgpts1_undist, camera_matrix, dist_coefficients,Mat(),camera_matrix); // this doesn't work */
/* undistortPoints(imgpts2, imgpts2_undist, camera_matrix, dist_coefficients,Mat(),camera_matrix); */
Mat E = findEssentialMat(imgpts1_undist, imgpts2_undist, 1, Point2d(0,0), RANSAC, 0.999, 8, mask);
当我删除对 undistort
的调用并改为在关键点上调用 undistortPoints
时,它不会产生相同的结果(这是我所期望的)。差异有时很小,但始终存在。
我阅读了文档
The function is similar to cv::undistort and cv::initUndistortRectifyMap but it operates on a sparse set of points instead of a raster image.
这样函数就可以达到我的预期。 我做错了什么?
您看到了差异,因为对图像进行矫正和对一组点进行矫正的工作方式非常不同。
图像使用 inverse mapping 未失真,这与通常用于所有几何图像变换(例如旋转)的方法相同。您首先创建输出图像网格,然后将输出图像中的每个像素转换回输入图像,并通过插值获得值。
由于您的输出图像包含 "correct" 个点,您必须 "distort" 它们才能将它们转换为原始图像。换句话说,您只需应用失真方程即可。
另一方面,如果您从输入图像中提取点并尝试消除失真,则需要反转失真方程。这很难做到,因为这些方程是 4 次或 6 次多项式。所以 undistortPoints
使用梯度下降以数值方式进行计算,这会有一些误差。
总而言之:undistort
函数消除了整个图像的失真,这可能有点矫枉过正,但它做得相当准确。如果您只对一小部分点感兴趣,undistortPoints
可能会更快,但也可能有更高的误差。