为什么 FAST/ORB 不善于在图像边缘找到关键点
why is FAST/ORB bad at finding keypoints near the edge of an image
ORB 在图像边缘附近找不到关键点,我不明白为什么。 SIFT 和 SURF 似乎更糟,我希望相反。
如果我理解正确,那么 SIFT/SURF 在测试点周围分别使用 16x16 和 20x20 方块,因此我希望它们不会找到距离边缘 8 和 10 像素的关键点。 FAST/ORB 在测试点周围使用直径为 7 的圆,所以我希望它能找到更靠近边缘的关键点,可能接近 4 个像素(尽管我认为相关算法 BRIEF 描述关键点使用更大 window 所以这会删除一些关键点)。
一项实验使我的预测变得毫无意义。在我的实验中,与边缘的最小距离随着正方形的大小和间距而变化,但例子是
- SIFT .. 5 像素
- 冲浪 .. 15 像素
- ORB .. 39 像素
谁能解释为什么?
我使用的代码如下。我画了一个正方形网格并应用了高斯模糊。我希望算法能够抓住角落,但他们发现了正方形的中心和一些伪影。
import numpy as np
import cv2
size = 501; border = 51; step = 10
image = np.zeros( (size,size), np.uint8 )
# fill with disjoint squares
def drawsquare(img,i,j):
restsize = step//5
cv2.rectangle(img,(i-restsize,j-restsize),(i+restsize,j+restsize),255,-1)
for i in range(0,size,step):
for j in range(0,size,step):
drawsquare(image,i,j)
# blank out the middle
image[border:size-border,border:size-border] = 0
# and blur
image = cv2.GaussianBlur(image,(5,5),0)
imgcopy = image.copy()
descriptor = cv2.xfeatures2d.SIFT_create(nfeatures=2000)
kps = descriptor.detect(image)
minpt = min([p for k in kps for p in k.pt ])
print("#{} SIFT keypoints, min coord is {} ".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(0,0,255))
cv2.imshow( "SIFT(red)", imgcopy )
cv2.waitKey()
descriptor = cv2.xfeatures2d.SURF_create()
kps, descs = descriptor.detectAndCompute(image,None)
minpt = min([p for k in kps for p in k.pt ])
print("#{} SURF keypoints , min coord is {}".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(0,255,255))
cv2.imshow( "SIFT(red)+SURF(yellow)", imgcopy )
cv2.waitKey()
descriptor = cv2.ORB_create(nfeatures=800)
kps = descriptor.detect(image)
minpt = min([p for k in kps for p in k.pt ])
print("#{} ORB keypoints, min coord is {} ".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(0,255,0))
cv2.imshow( "SIFT(red)+SURF(yellow)+ORB-detect(green)", imgcopy )
cv2.waitKey()
kps, descs = descriptor.compute(image,kps)
minpt = min([k.pt[0] for k in kps]+[k.pt[1] for k in kps])
print("#{} ORB described keypoints, min coord is {} ".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(255,0,0))
cv2.imshow( "SIFT(red)+SURF(yelow)+ORB-compute(blue)", imgcopy )
cv2.waitKey()
cv2.imwrite("/tmp/grid-with-keypoints.png",imgcopy)
程序的输出是
#2000 SIFT keypoints, min coord is 5.140756607055664
#1780 SURF keypoints , min coord is 15.0
#592 ORB keypoints, min coord is 39.60000228881836
#592 ORB described keypoints, min coord is 39.60000228881836
图像是
附录
Grillteller 回答了我的问题,并在 ORB 检测器的创建代码中给了我一个额外的参数。如果我写
descriptor = cv2.ORB_create(nfeatures=800,edgeThreshold=0)
然后我得到输出
#950 ORB keypoints, min coord is 9.953282356262207
通常,图像边缘的关键点对大多数应用程序没有用处。考虑例如用于航拍图像的移动汽车或飞机。图像边界处的点在下一帧中通常不可见。在大多数情况下计算对象的 3D 重建时,感兴趣的对象位于图像的中心。此外,您提到的事实是,大多数特征检测器都处理像素周围的感兴趣区域,这一点很重要,因为这些区域可能会在图像边界处产生不需要的效果。
进入 OpenCV 的源代码 ORB (848-849) 使用带有 edgeThreshold
的函数,可以使用 cv::ORB::create()
定义并设置为默认值31 像素。 “这是未检测到特征的边框大小。它应该与 patchSize 参数大致匹配。”
// Remove keypoints very close to the border
KeyPointsFilter::runByImageBorder(keypoints, img.size(), edgeThreshold);
函数定义为:
void KeyPointsFilter::runByImageBorder( std::vector<KeyPoint>& keypoints, Size imageSize, int borderSize )
{
if( borderSize > 0)
{
if (imageSize.height <= borderSize * 2 || imageSize.width <= borderSize * 2)
keypoints.clear();
else
keypoints.erase( std::remove_if(keypoints.begin(), keypoints.end(),
RoiPredicate(Rect(Point(borderSize, borderSize),
Point(imageSize.width - borderSize, imageSize.height - borderSize)))),
keypoints.end() );
}
}
并使用 keypoints.erase()
.
移除靠近边缘的关键点
对于 SIFT,可以找到相关行 (92-93) here:
// width of border in which to ignore keypoints
static const int SIFT_IMG_BORDER = 5;
我假设 SURF 使用类似的参数(=15?),但据我所知,SIFT 和 SURF 中的这些参数不能像 ORB 那样在函数调用中简单地更改。
ORB 在图像边缘附近找不到关键点,我不明白为什么。 SIFT 和 SURF 似乎更糟,我希望相反。
如果我理解正确,那么 SIFT/SURF 在测试点周围分别使用 16x16 和 20x20 方块,因此我希望它们不会找到距离边缘 8 和 10 像素的关键点。 FAST/ORB 在测试点周围使用直径为 7 的圆,所以我希望它能找到更靠近边缘的关键点,可能接近 4 个像素(尽管我认为相关算法 BRIEF 描述关键点使用更大 window 所以这会删除一些关键点)。
一项实验使我的预测变得毫无意义。在我的实验中,与边缘的最小距离随着正方形的大小和间距而变化,但例子是
- SIFT .. 5 像素
- 冲浪 .. 15 像素
- ORB .. 39 像素
谁能解释为什么?
我使用的代码如下。我画了一个正方形网格并应用了高斯模糊。我希望算法能够抓住角落,但他们发现了正方形的中心和一些伪影。
import numpy as np
import cv2
size = 501; border = 51; step = 10
image = np.zeros( (size,size), np.uint8 )
# fill with disjoint squares
def drawsquare(img,i,j):
restsize = step//5
cv2.rectangle(img,(i-restsize,j-restsize),(i+restsize,j+restsize),255,-1)
for i in range(0,size,step):
for j in range(0,size,step):
drawsquare(image,i,j)
# blank out the middle
image[border:size-border,border:size-border] = 0
# and blur
image = cv2.GaussianBlur(image,(5,5),0)
imgcopy = image.copy()
descriptor = cv2.xfeatures2d.SIFT_create(nfeatures=2000)
kps = descriptor.detect(image)
minpt = min([p for k in kps for p in k.pt ])
print("#{} SIFT keypoints, min coord is {} ".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(0,0,255))
cv2.imshow( "SIFT(red)", imgcopy )
cv2.waitKey()
descriptor = cv2.xfeatures2d.SURF_create()
kps, descs = descriptor.detectAndCompute(image,None)
minpt = min([p for k in kps for p in k.pt ])
print("#{} SURF keypoints , min coord is {}".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(0,255,255))
cv2.imshow( "SIFT(red)+SURF(yellow)", imgcopy )
cv2.waitKey()
descriptor = cv2.ORB_create(nfeatures=800)
kps = descriptor.detect(image)
minpt = min([p for k in kps for p in k.pt ])
print("#{} ORB keypoints, min coord is {} ".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(0,255,0))
cv2.imshow( "SIFT(red)+SURF(yellow)+ORB-detect(green)", imgcopy )
cv2.waitKey()
kps, descs = descriptor.compute(image,kps)
minpt = min([k.pt[0] for k in kps]+[k.pt[1] for k in kps])
print("#{} ORB described keypoints, min coord is {} ".format(len(kps),minpt))
imgcopy = cv2.drawKeypoints(imgcopy,kps,imgcopy,(255,0,0))
cv2.imshow( "SIFT(red)+SURF(yelow)+ORB-compute(blue)", imgcopy )
cv2.waitKey()
cv2.imwrite("/tmp/grid-with-keypoints.png",imgcopy)
程序的输出是
#2000 SIFT keypoints, min coord is 5.140756607055664
#1780 SURF keypoints , min coord is 15.0
#592 ORB keypoints, min coord is 39.60000228881836
#592 ORB described keypoints, min coord is 39.60000228881836
图像是
附录
Grillteller 回答了我的问题,并在 ORB 检测器的创建代码中给了我一个额外的参数。如果我写
descriptor = cv2.ORB_create(nfeatures=800,edgeThreshold=0)
然后我得到输出
#950 ORB keypoints, min coord is 9.953282356262207
通常,图像边缘的关键点对大多数应用程序没有用处。考虑例如用于航拍图像的移动汽车或飞机。图像边界处的点在下一帧中通常不可见。在大多数情况下计算对象的 3D 重建时,感兴趣的对象位于图像的中心。此外,您提到的事实是,大多数特征检测器都处理像素周围的感兴趣区域,这一点很重要,因为这些区域可能会在图像边界处产生不需要的效果。
进入 OpenCV 的源代码 ORB (848-849) 使用带有 edgeThreshold
的函数,可以使用 cv::ORB::create()
定义并设置为默认值31 像素。 “这是未检测到特征的边框大小。它应该与 patchSize 参数大致匹配。”
// Remove keypoints very close to the border
KeyPointsFilter::runByImageBorder(keypoints, img.size(), edgeThreshold);
函数定义为:
void KeyPointsFilter::runByImageBorder( std::vector<KeyPoint>& keypoints, Size imageSize, int borderSize )
{
if( borderSize > 0)
{
if (imageSize.height <= borderSize * 2 || imageSize.width <= borderSize * 2)
keypoints.clear();
else
keypoints.erase( std::remove_if(keypoints.begin(), keypoints.end(),
RoiPredicate(Rect(Point(borderSize, borderSize),
Point(imageSize.width - borderSize, imageSize.height - borderSize)))),
keypoints.end() );
}
}
并使用 keypoints.erase()
.
对于 SIFT,可以找到相关行 (92-93) here:
// width of border in which to ignore keypoints
static const int SIFT_IMG_BORDER = 5;
我假设 SURF 使用类似的参数(=15?),但据我所知,SIFT 和 SURF 中的这些参数不能像 ORB 那样在函数调用中简单地更改。