GoPro 摄像机的视野

Question

我已经使用 Camera calibration toolbox for Matlab 校准了我的 GoPro Hero 4 Black，并使用 OpenCV 计算了它的视野和焦距的 calibrationMatrixValues()。然而，这些与 GoPro 的规格不同。 Istead of 118.2/69.5 FOVs I get 95.4/63.4 and focal length 2.8mm instead of 17.2mm.显然出了点问题。

我想校准本身是正确的，因为图像不失真似乎效果很好。

任何人都可以给我提示我在哪里犯了错误吗？我在下面发布我的代码。

谢谢。

代码

cameraMatrix = new Mat(3, 3, 6);
for (int i = 0; i < cameraMatrix.height(); i ++)
    for (int j = 0; j < cameraMatrix.width(); j ++) {
    cameraMatrix.put(i, j, 0);
}
cameraMatrix.put(0, 0, 582.18394);
cameraMatrix.put(0, 2, 663.50655);
cameraMatrix.put(1, 1, 582.52915);
cameraMatrix.put(1, 2, 378.74541);
cameraMatrix.put(2, 2, 1.);

org.opencv.core.Size size = new org.opencv.core.Size(1280, 720);
//output parameters
double [] fovx = new double[1];
double [] fovy = new double[1];
double [] focLen = new double[1];
double [] aspectRatio = new double[1];
Point ppov = new Point(0, 0);
org.opencv.calib3d.Calib3d.calibrationMatrixValues(cameraMatrix, size,
        6.17, 4.55, fovx, fovy, focLen, ppov, aspectRatio);


System.out.println("FoVx: " + fovx[0]);
System.out.println("FoVy: " + fovy[0]);
System.out.println("Focal length: " + focLen[0]);
System.out.println("Principal point of view; x: " + ppov.x + ", y: " + ppov.y);
System.out.println("Aspect ratio: " + aspectRatio[0]);

结果

FoVx: 95.41677635378488
FoVy: 63.43170132212425
Focal length: 2.8063085232812504
Principal point of view; x: 3.198308916796875, y: 2.3934605770833333
Aspect ratio: 1.0005929569269807

GoPro 规格

https://gopro.com/help/articles/Question_Answer/HERO4-Field-of-View-FOV-Information

编辑

Matlab 标定结果

Focal Length:          fc = [ 582.18394   582.52915 ] ± [ 0.77471   0.78080 ]
Principal point:       cc = [ 663.50655   378.74541 ] ± [ 1.40781   1.13965 ]
Skew:             alpha_c = [ -0.00028 ] ± [ 0.00056  ]   => angle of pixel axes = 90.01599 ± 0.03208 degrees
Distortion:            kc = [ -0.25722   0.09022   -0.00060   0.00009  -0.01662 ] ± [ 0.00228   0.00276   0.00020   0.00018  0.00098 ]
Pixel error:          err = [ 0.30001   0.28188 ]

用于校准的图像之一

和未失真的图像

Answer 1

您在 OpenCV 中输入了 6.17mm 和 4.55mm 作为传感器尺寸，这对应于宽高比 1.36 而您的分辨率 (1270x720) 是 1.76（大约 16x9 格式）。您是否在 MATLAB 校准之前裁剪了图像？

像素大小似乎是 this Gopro page 的 1.55µm（顺便说一句，这小得惊人！）。如果像素是平方的，并且它们应该在这种类型的商用相机上，则意味着您的输入不一致。计算出的传感器尺寸应为：

[Sensor width, Sensor height] = [1280, 720]*1.55*10^-3 = [1.97, 1.12] mm

即使考虑到 3840 x 2160 的最大视频分辨率，我们得到 [5.95, 3.35]mm，仍然与您输入的不同。

例如，请看这个explanation about equivalent focal length to understand why the actual focal length of the camera is not 17.2 but 17.2*5.95/36 ~ 2.8mm. In that case, compute FOV using the formulas here。您确实会发现 93.5°/61.7° 的值（接近您的输出，但仍然不是规格中所写的值，因为广角可能会导致一些光学失真）。

但我不明白的是，returned 的焦距是正确的，而输入的传感器尺寸是错误的。能否提供更多信息 and/or 发送图片？

问题更新后编辑

在那些工作分辨率为 1280x720 的相机上，图像被缩减采样但没有被裁剪，所以我上面所说的关于传感器尺寸的内容不适用。如您的第一条评论中所述，要考虑的传感器尺寸确实是使用的尺寸 (6.17x4.55)。

FOV 受以像素和分辨率给出的校准矩阵输入（fx、fy、cx、cy）约束。您可以输入以下内容进行检查：

2*DEGRES(ATAN(1280/(2*582.18394))) (=95.416776...°)

这个FOV值比预期的要小，但是从未失真的图像来看，你的MATLAB失真模型是正确的，校准是正确的。由于广角导致的桶形失真似乎已通过您应用的重新扭曲得到很好的校正。

但是，MATLAB 工具箱使用的是线性针孔模型，无法考虑镜头畸变等固有参数。我从页面假设这个：

https://fr.mathworks.com/help/vision/ug/camera-calibration.html

因此，我最好的猜测是，除非您找到更适合 Gopro 相机的模型（可能是广角镜头模型），否则 MATLAB 校准将 return 对应于 "linear" 未失真的图像和FOV确实会更小（在桶形失真的情况下）。您将必须应用与校准相关的失真系数来检索实际的 FOV 值。

我们可以在校正后的图像中看到，FOV 的侧面部分被排除在边界之外。如果您完全扭曲图像，您会发现一些未扭曲的像素坐标超过 [-1280/2;+1280/2]（水平方向，垂直方向同上）。然后，将 opencv.core.Size(1280, 720) 替换为获得的最极端范围，您将有望检索到 Gopro 网站值。

总之，我认为如果您在图像的中心进行测量，您可以依靠您获得的焦距值，否则失真太大并且不适用。

GoPro 摄像机的视野

Field of view of a GoPro camera

opencv

computer-vision

fieldofview

camera-calibration

gopro

代码

结果

GoPro 规格

编辑