opencv 的 reprojectImageTo3D() 中的深度图值

Depth map values in opencv's reprojectImageTo3D()

OpenCV 的 reprojectImageTo3D() 输出 “表示 3D 表面的 3 通道图像”。 您可以通过

访问这些数据
Vec3f coordinates = _3dImage.at<Vec3f>(y,x);
float depth = _3dImage.at<Vec3f>(y,x)[2];

returns 向量 [X,Y,Z].

在 Gary Bradski 和 Adrian Kaehler 的 "Learning OpenCV" 中,解释了深度是通过

计算的

Z = f T / (x_left - x_right)

其中 f = 焦距,T = 相机之间的眼睛 base/translation,(x_left - x_right) = 视差

这个确切的公式是在 OpenCV 中实现的(我检查了源代码 - 但是由于某种原因还有一个额外的负号)。问题是:指定的X、Y、Z值是用什么单位?

T 以您的单位(例如毫米)为单位,x_l - x_r 以像素为单位并且 [ f ] = ?

当您校准相机时,您需要以现实世界的单位(例如毫米)指定棋盘的大小。因此,内在矩阵是否具有真实世界的单位?还是以px为单位指定?很遗憾,我无法在文档中找到答案。

执行深度重建的基础方程是:

Z = fB/d,其中

  • f是焦距(以像素为单位),你称它为相机之间的眼睛base/translation
  • B 是立体基线(以米为单位)
  • d是视差(以像素为单位),衡量对应点之间视网膜位置的差异
  • Z是沿相机Z轴的距离

图像点的 3D 位置 (X,Y,Z)(例如 (u,v) 像素)可以以米、厘米、毫米或任何您选择的单位给出,因为 3D 坐标 (X,Y,Z)与棋盘的正方形大小的单位相同。例如,如果您将正方形大小定义为 1 厘米,则 3D 坐标也将以厘米为单位。

即:

Size boardSize(4, 5); // 4x5 chessboard
float squareSize = 0.025F; // 0.025 meters
for( int i = 0; i < boardSize.height; i++ )
    for( int j = 0; j < boardSize.width; j++ )
        corners.push_back(Point3f(float(j*squareSize), float(i*squareSize), 0.0F));

p.s.:
Z确定后,XY可以用通常的投影相机方程计算:

  • X = uZ/f
  • Y = vZ/f