基于内在和外在相机参数计算单应矩阵
Compute Homography Matrix based on intrinsic and extrinsic camera parameters
我愿意为6台鱼眼相机进行360°全景拼接
为了找到相机之间的关系，我需要计算单应矩阵。后者通常是通过在图像中查找特征并匹配它们来计算的。
但是，对于我的相机设置 我已经知道:
- 我通过相机标定计算的相机内在矩阵K。
- 相机外部参数 R 和 t。相机方向是固定的，在任何时候都不会改变。相机位于已知直径 d 的圆上，每个相机相对于圆移动 60° 度。
因此，我认为我可以手动计算单应矩阵，我假设这会导致比执行特征匹配更准确的方法。
在文献中我发现了以下公式来计算将图像 2 与图像 1 相关联的单应矩阵：
H_2_1 = (K_2) * (R_2)^-1 * R_1 * K_1
这个公式只考虑了相机之间的旋转角度，但没有考虑我的情况下存在的平移矢量。
如何将每个相机的平移 t 插入 H 的计算中？
我已经尝试不考虑平移计算H，但是由于d>1米，图像在全景图片中对齐不准确。
编辑：
根据下面 Francesco 的回答，我得到了以下问题：
校准鱼眼镜头后，我得到了一个矩阵 K，焦距 f=620，大小为 1024 x 768 的图像。是否认为是 大焦距还是小焦距?
我的相机位于一个直径为 1 米的圆上。下面的解释让我很清楚，由于相机之间的这种“大”平移，我对相对靠近它们的物体产生了显着的重影效果。因此，如果单应模型不能完全表示相机的位置，是否可以使用其他模型如Fundamental/Essential矩阵进行图像拼接？
您不能“插入”翻译：它的存在以及重要的旋转在数学上意味着图像之间的关系不是单应性。
但是，如果成像场景距离相机“足够远”，即如果相机之间的平移与场景对象与相机的距离相比较小，并且相机的焦距较小足够了，那么你可以使用由纯旋转引起的单应性作为近似值。
你的等式是错误的。得到正确的公式如下：
- 在相机 1 中取一个像素：
p_1 = (x, y, 1) 在齐次坐标系中
- 将它投影成 3D 射线 space：
P_1 = inv(K_1) * p_1
- 分解相机2坐标中的光线：
P_2 = R_2_1 * P1
- 将光线投射到相机 2 中的一个像素中：
p_2 = K_2 * P_2
- 将等式放在一起：
p_2 = [K_2 * R_2_1 * inv(K_1)] * p_1
乘积H = K2 * R_2_1 * inv(K1)是由纯旋转R_2_1引起的单应性。旋转将点从第 1 帧转换到第 2 帧。它由一个 3x3 矩阵表示，其列是在第 2 帧中分解的第 1 帧的 x、y、z 轴的分量。如果您的设置为您提供所有相机的旋转对于一个公共帧0，即R_i_0，那么它是R_2_1 = R_2_0 * R_1_0.transposed.
一般来说，你应该使用上面的单应性作为初步估计，通过匹配点和优化来细化。这是因为 (a) 单应性模型本身只是一个近似值（因为它忽略了平移），以及 (b) 机械设置（即使是经过校准的设置）给出的旋转会受到误差的影响。使用匹配的像素来优化转换将最大限度地减少图像上重要的错误，而不是抽象旋转 space.
我愿意为6台鱼眼相机进行360°全景拼接
为了找到相机之间的关系，我需要计算单应矩阵。后者通常是通过在图像中查找特征并匹配它们来计算的。
但是，对于我的相机设置 我已经知道:
- 我通过相机标定计算的相机内在矩阵K。
- 相机外部参数 R 和 t。相机方向是固定的，在任何时候都不会改变。相机位于已知直径 d 的圆上，每个相机相对于圆移动 60° 度。
因此，我认为我可以手动计算单应矩阵，我假设这会导致比执行特征匹配更准确的方法。
在文献中我发现了以下公式来计算将图像 2 与图像 1 相关联的单应矩阵：
H_2_1 = (K_2) * (R_2)^-1 * R_1 * K_1
这个公式只考虑了相机之间的旋转角度，但没有考虑我的情况下存在的平移矢量。
如何将每个相机的平移 t 插入 H 的计算中？
我已经尝试不考虑平移计算H，但是由于d>1米，图像在全景图片中对齐不准确。
编辑：
根据下面 Francesco 的回答，我得到了以下问题：
校准鱼眼镜头后，我得到了一个矩阵
K，焦距f=620，大小为 1024 x 768 的图像。是否认为是 大焦距还是小焦距?我的相机位于一个直径为 1 米的圆上。下面的解释让我很清楚，由于相机之间的这种“大”平移，我对相对靠近它们的物体产生了显着的重影效果。因此，如果单应模型不能完全表示相机的位置，是否可以使用其他模型如Fundamental/Essential矩阵进行图像拼接？
您不能“插入”翻译：它的存在以及重要的旋转在数学上意味着图像之间的关系不是单应性。
但是，如果成像场景距离相机“足够远”，即如果相机之间的平移与场景对象与相机的距离相比较小，并且相机的焦距较小足够了，那么你可以使用由纯旋转引起的单应性作为近似值。
你的等式是错误的。得到正确的公式如下：
- 在相机 1 中取一个像素：
p_1 = (x, y, 1)在齐次坐标系中 - 将它投影成 3D 射线 space：
P_1 = inv(K_1) * p_1 - 分解相机2坐标中的光线：
P_2 = R_2_1 * P1 - 将光线投射到相机 2 中的一个像素中：
p_2 = K_2 * P_2 - 将等式放在一起：
p_2 = [K_2 * R_2_1 * inv(K_1)] * p_1
乘积H = K2 * R_2_1 * inv(K1)是由纯旋转R_2_1引起的单应性。旋转将点从第 1 帧转换到第 2 帧。它由一个 3x3 矩阵表示，其列是在第 2 帧中分解的第 1 帧的 x、y、z 轴的分量。如果您的设置为您提供所有相机的旋转对于一个公共帧0，即R_i_0，那么它是R_2_1 = R_2_0 * R_1_0.transposed.
一般来说，你应该使用上面的单应性作为初步估计，通过匹配点和优化来细化。这是因为 (a) 单应性模型本身只是一个近似值（因为它忽略了平移），以及 (b) 机械设置（即使是经过校准的设置）给出的旋转会受到误差的影响。使用匹配的像素来优化转换将最大限度地减少图像上重要的错误，而不是抽象旋转 space.