特征匹配的图像相似性度量？
Measure of image similarity for feature matching?
我目前正在尝试使用 python 在 openCV 中使用 SIFT 来使用蛮力特征匹配器。我正在尝试将它用于我服务器上的图像搜索功能，我在其中输入图像并将该图像与其他图像进行比较，希望匹配能够表明相似程度。有没有办法通过使用特征匹配来指示相似程度？
目前，我正在研究我在 this 网站上找到的内容，我也会在下面 post：
img1 = cv2.imread('box.png',0) # queryImage
img2 = cv2.imread('box_in_scene.png',0) # trainImage
# Initiate SIFT detector
sift = cv2.SIFT()
# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
# BFMatcher with default params
bf = cv2.BFMatcher()
matches = bf.knnMatch(des1,des2, k=2)
# Apply ratio test
good = []
for m,n in matches:
if m.distance < 0.75*n.distance:
good.append([m])
# cv2.drawMatchesKnn expects list of lists as matches.
img3 = cv2.drawMatchesKnn(img1,kp1,img2,kp2,good,flags=2)
plt.imshow(img3),plt.show()
我现在用来创建 'similarity' 度量的是通过应用比率测试获得的 'good' 匹配的数量，并且只是找到有多少 'good' 匹配使用简单的 len(good).
存储良好
这返回了我用来评估输入图像与数据库图像相似度的良好匹配数。但是，我假设事情没有这么简单，因为当我开始使用一张鞋子的图片对此进行测试时，像香蕉这样的图片比其他图片收到了更多的 'good' 匹配鞋。甚至比不同颜色的同一双鞋更相似。
我认为这可能只是一个异常现象，所以我继续使用更大的图像数据集进行测试，再次发现鞋子没有收到分数（或匹配的数量），就像说四轮摩托车或人的图像，而不是与其他鞋子搭配。
所以基本上，我如何使用与数值匹配的特征来定义两个图像的相似性？
谢谢。
我认为您需要选择更好的特征以获得更好的（或更相似的图像）结果。 SIFT 是一个局部特征，即使是语义不同的图像（如鞋子和香蕉），您也很有可能找到相似的 SIFT 特征。
为了提高相似度的准确性，我建议您决定使用 SIFT 之外的更好的特征。就像图像中的颜色直方图。如果你使用图像的颜色直方图，你会得到颜色直方图相似的图像。您可以使用良好的特征组合来找到相似性。您可以通过检查数据库中的图像类型以及您认为可以区分不同语义 classes 的特征来决定这种组合。
如果你可以使用稍微不同的方法，我想推荐PLSA，这是我用过的方法。概率潜在语义分析（PLSA）是一种无监督学习算法，它表示具有较低维度隐藏的数据class。然后可以通过计算新图像低维表示与所有其他 classes 的欧氏距离来找到相似性。您可以根据距离对其进行排序并获得相似的图像。即使在这里选择正确的功能也很重要。您还需要选择隐藏的 classes 的数量。您将需要试验 classes 的数量。
我有一个小项目使用 PLSA 来解决图像检索问题。所以如果你不介意这个插件，这里是PLSA Image retrieval。不幸的是它是 Matlab，但您可以了解正在发生的事情并尝试使用它。我使用颜色直方图作为特征。因此，选择有助于您更好地辨别不同 class 的特征。
我目前正在尝试使用 python 在 openCV 中使用 SIFT 来使用蛮力特征匹配器。我正在尝试将它用于我服务器上的图像搜索功能，我在其中输入图像并将该图像与其他图像进行比较，希望匹配能够表明相似程度。有没有办法通过使用特征匹配来指示相似程度？
目前，我正在研究我在 this 网站上找到的内容，我也会在下面 post：
img1 = cv2.imread('box.png',0) # queryImage
img2 = cv2.imread('box_in_scene.png',0) # trainImage
# Initiate SIFT detector
sift = cv2.SIFT()
# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
# BFMatcher with default params
bf = cv2.BFMatcher()
matches = bf.knnMatch(des1,des2, k=2)
# Apply ratio test
good = []
for m,n in matches:
if m.distance < 0.75*n.distance:
good.append([m])
# cv2.drawMatchesKnn expects list of lists as matches.
img3 = cv2.drawMatchesKnn(img1,kp1,img2,kp2,good,flags=2)
plt.imshow(img3),plt.show()
我现在用来创建 'similarity' 度量的是通过应用比率测试获得的 'good' 匹配的数量，并且只是找到有多少 'good' 匹配使用简单的 len(good).
这返回了我用来评估输入图像与数据库图像相似度的良好匹配数。但是，我假设事情没有这么简单，因为当我开始使用一张鞋子的图片对此进行测试时，像香蕉这样的图片比其他图片收到了更多的 'good' 匹配鞋。甚至比不同颜色的同一双鞋更相似。
我认为这可能只是一个异常现象，所以我继续使用更大的图像数据集进行测试，再次发现鞋子没有收到分数（或匹配的数量），就像说四轮摩托车或人的图像，而不是与其他鞋子搭配。
所以基本上，我如何使用与数值匹配的特征来定义两个图像的相似性？
谢谢。
我认为您需要选择更好的特征以获得更好的（或更相似的图像）结果。 SIFT 是一个局部特征，即使是语义不同的图像（如鞋子和香蕉），您也很有可能找到相似的 SIFT 特征。
为了提高相似度的准确性，我建议您决定使用 SIFT 之外的更好的特征。就像图像中的颜色直方图。如果你使用图像的颜色直方图，你会得到颜色直方图相似的图像。您可以使用良好的特征组合来找到相似性。您可以通过检查数据库中的图像类型以及您认为可以区分不同语义 classes 的特征来决定这种组合。
如果你可以使用稍微不同的方法，我想推荐PLSA，这是我用过的方法。概率潜在语义分析（PLSA）是一种无监督学习算法，它表示具有较低维度隐藏的数据class。然后可以通过计算新图像低维表示与所有其他 classes 的欧氏距离来找到相似性。您可以根据距离对其进行排序并获得相似的图像。即使在这里选择正确的功能也很重要。您还需要选择隐藏的 classes 的数量。您将需要试验 classes 的数量。
我有一个小项目使用 PLSA 来解决图像检索问题。所以如果你不介意这个插件，这里是PLSA Image retrieval。不幸的是它是 Matlab，但您可以了解正在发生的事情并尝试使用它。我使用颜色直方图作为特征。因此，选择有助于您更好地辨别不同 class 的特征。