有什么方法可以使用 OpenCV 进行基于特征的本地化吗？

Question

我正在使用 OpenCV 特征检测，根据激光雷达结果和虚拟地图的比较来估计机器人位置。我尝试使用 orb 特征检测，然后使用 flannbasedmatcher，但匹配结果出错了。这是我的一些代码

Ptr<ORB> orb_a = ORB::create();
Ptr<ORB> orb_b = ORB::create();
vector <cv::KeyPoint> kp1,kp2;
Mat desc1,desc2;

/* set orb :
   1. ORB name
   2. nfeatures
   3. Nlevels
   4. EdgeThreshold
   5. First Level
   6. WTA
   7. Score Type
   8. Patchsize
   9. Scale Factor  */
Mat hmap,hlidar;

setORB(orb_a,500,8,100,0,4,ORB::HARRIS_SCORE,31,1.1);   //map
orb_a->detectAndCompute(lidarmap,noArray(),kp1,desc1);
  drawKeypoints(lidarmap,kp1,hmap,Scalar::all(-1),DrawMatchesFlags::DEFAULT);

setORB(orb_b,50,8,30,0,4,ORB::HARRIS_SCORE,10,1.5); //lidar
orb_b->detectAndCompute(lidarused,noArray(),kp2,desc2);
  drawKeypoints(lidarused,kp2,hlidar,Scalar::all(-1),DrawMatchesFlags::DEFAULT);

//flann

FlannBasedMatcher matcher;
std::vector<DMatch>matches;
matcher.match (desc1,desc2,matches);

double maxdist = 0, mindist = 100000;

for (int i = 0; i< desc1.rows; i++)
        {
        double dist = matches[i].distance;
        if (dist<mindist) mindist = dist;
        if (dist>maxdist) maxdist = dist;
        }
if (mindist<0.02) mindist = 0.02;

printf ("min : %7.3f \t max : %7.3f \n",mindist,maxdist);

vector <DMatch> good_matches;

for (int i=1; i<desc1.rows; i++)
        {
    if (matches[i].distance >= 2*mindist && matches[i].distance<maxdist/2)
            {
            good_matches.push_back (matches[i]);
            }
        }
Mat imgmatches;
drawMatches (lidarmap,kp1,
             lidarused,kp2,
             good_matches,imgmatches,
             Scalar::all(-1), Scalar::all(-1),
             vector<char>(),DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);

这是结果。 Detection seems okay, but it's terrible when i rotate second image

flann 匹配器是否只适用于未缩放和未旋转的图像？我可以使用 flann 来匹配双色图像 (BW) 吗？或者有人可以指出我做错了什么吗？提前致谢

Answer 1

根据我的经验，ORB 功能太弱，无法与 FLANN 一起使用。使用 sift 或 surf 尝试您的代码。如果可行，您可以尝试调整以使用 ORB。

另一种选择是使用 DBoW2 Library。他们的下降结果具有二元特征。

有什么方法可以使用 OpenCV 进行基于特征的本地化吗？

Is there any way to do feature-based localization using OpenCV?

c++

opencv

computer-vision

feature-detection

keypoint