评估图像配准过程的置信度

Evaluating the confidence of an image registration process

背景:

假设同一场景有两个不同视角的镜头。对它们应用配准算法将产生表示它们之间关系的单应矩阵。通过使用此单应矩阵扭曲其中之一将(理论上)产生两个相同的图像(如果忽略非共享区域)。

既然没有完美存在,那么两幅图不一定完全一样,我们可能会发现它们之间存在一些差异,这种差异在减去它们时可以很明显地表现出来。

示例:

此外,减法时光照条件可能会造成巨大的差异。

问题:

我正在寻找可以评估注册过程准确性的指标。该指标应为:

  1. 归一化: 0->1 与图像类型(自然场景、文本、人物...)无关的测量。例如,如果在完全不同的一对照片上进行的两个完全不同的注册过程具有相同的置信度,假设为 0.5,这意味着发生了相同的好(或坏)注册。这应该适用,即使一对是非常详细的照片,另一对是白色背景,"Hello" 黑色书写。

  2. 区分套准精度和不同光照条件:虽然有很多方法可以消除这种差异并使两个图像看起来大致相同,我正在寻找不计算它们而不是修复它们的测量(性能问题)。

首先想到的是求和两个图像的绝对差异。但是,这将产生一个代表错误的数字。当您想将它与另一个配准过程进行比较时,这个数字没有意义,因为配准更好但细节更多的另一张图像可能会产生更大的错误而不是更小的错误。

抱歉这么久 post。我很高兴提供任何进一步的信息并合作寻找解决方案。

P.S。使用 OpenCV 是可以接受和更可取的。

您始终可以在两个图像中使用不变 (lighting/scale/rotation) 特征。例如 SIFT 特征。

当您使用典型比率(最近和下一个最近之间)匹配这些时,您将得到大量匹配项。您可以使用您的方法或对这些匹配项使用 RANSAC 来计算单应性。 在任何情况下,对于任何单应候选者,您都可以计算与模型一致的特征匹配(全部)的数量。 该数字除以总匹配数得出的模型质量指标为 0-1。

如果您使用 RANSAC 使用匹配来计算单应性,质量指标已经内置。

这个问题是给定两张图片,决定它们的错位程度。

这就是我们进行注册的原因。注册方法无法自己回答它做得有多糟糕,因为如果它知道它会做到这一点。

只有在绝对正确的情况下我们才知道结果:0

你想要一个确定性的答案?您添加确定性输入。

给定固定位置的红色方块,可以测量它的旋转程度 - translated-scaled。在实验室的条件下,这是可以实现的。