如何通过平移、旋转 and/or 比例调整来匹配两个分割蒙版

How to match two segmentation masks with translation, rotation and/or scale adjustment

我有两张从略微不同的位置拍摄的图像。对这些进行图像分割后,我想匹配两个图像的分割掩码,以便我可以在两个图像中识别相同的对象。大多数情况下,对象的大小或方向会发生变化:

有时出现在一张图片中的对象不会出现在另一张图片中,例如:

我试过使用它们的质心位置和大小天真地匹配单个对象,但它很容易出错。最好的方法是什么,例如OpenCV?

您可以尝试类似 RANSAC 的方法。变换的倾斜度不大,因此您可以尝试相似变换(平移 + 旋转 + 缩放)。这只需要两个对应的点对。从两个匹配对计算变换,变换其他点并查看它们的匹配程度。

由于您的点数很少,因此对所有可能的对(其中 N(N-1)/2 个)进行详尽搜索并不过分。 (而且貌似可以不引入倒序就可以从左到右对点进行排序,这样会减少可能性的数量。)