相对相机姿态估计:使用噪声估计获得度量转换

Relative camera pose estimation: obtaining metric translation using noisy estimate

我目前正在使用 opencv 进行一个相机相对于另一个相机的姿势估计,在 camera1 固定且 camera2 可以自由移动的设置中。我知道这两款相机的内在特性。我有使用对极几何的姿态估计模块,并使用五点算法计算基本矩阵来计算 camera2 相对于 camera1 的 R 和 t;但我想得到公制翻译。为了帮助实现这一点,我有两个 GPS 模块,一个在 camera1 上,一个在 camera2 上。现在,如果我们假设 camera1 的 GPS 完美且准确; camera2 的 GPS 表现出一些 XY 噪声,我需要一种方法来在这个嘈杂的 GPS 之上使用 opencv 姿势估计来获得最终的准确翻译。

根据该信息,我的问题分为两部分:

  1. 因为相机之间的外在因素不断变化,是否可以使用束调整来优化我的姿势?
  2. 我能否以某种方式将我的(嘈杂的)GPS 测量值作为初始估计纳入捆绑平差框架,并获得更准确的度量转换估计作为我的最终结果?

1) 否,bundle adjustment has another function and you would not be able to work with it anyway because you would have an unknown scale for every pair you use with 5-point. You should instead use a perspective-n-point algorithm 在第一对图像之后。

2) 是的,这叫做传感器融合,您需要首先校准(或知道)您的 GPS 传感器坐标和相机坐标之间的转换。有一个 open source framework 你可以使用。