用于在 Unity3D 中定位 3D 对象的 OpenCV 旋转（Rodrigues）和平移向量

Question

我正在使用 "OpenCV for Unity3d" 资产（它是用于 Java 的相同 OpenCV 包，但为 Unity3d 转换为 C#）以便为我的理学硕士论文（计算机科学）创建增强现实应用程序.

到目前为止，我能够使用 ORB 特征检测器从视频帧中检测到一个对象，而且我还可以使用 OpenCV 的 SolvePnP 方法找到 3D 到 2D 的关系（我也进行了相机校准）。从那个方法我得到了平移和旋转向量。问题出现在增强阶段，我必须将 3d 对象显示为虚拟对象并在每一帧更新其位置和旋转。 OpenCV returns Rodrigues 旋转矩阵，但 Unity3d 使用四元数旋转，所以我更新对象的位置和旋转错误，我不知道如何实现转换 forumla（从 Rodrigues 到四元数）。

正在获取 rvec 和 tvec：

    Mat rvec = new Mat();
    Mat tvec = new Mat();
    Mat rotationMatrix = new Mat ();

    Calib3d.solvePnP (object_world_corners, scene_flat_corners, CalibrationMatrix, DistortionCoefficientsMatrix, rvec, tvec);
    Calib3d.Rodrigues (rvec, rotationMatrix);

正在更新虚拟对象的位置：

    Vector3 objPosition = new Vector3 (); 
    objPosition.x = (model.transform.position.x + (float)tvec.get (0, 0)[0]);
    objPosition.y = (model.transform.position.y + (float)tvec.get (1, 0)[0]);
    objPosition.z = (model.transform.position.z - (float)tvec.get (2, 0)[0]);
    model.transform.position = objPosition;

我的Z轴是负号，因为当你将OpenCV的系统坐标转换成Unty3d的系统坐标时，你必须反转Z轴（我自己检查了系统坐标）。

Unity3d的坐标系（绿为Y，红为X，蓝为Z）：

OpenCV 的坐标系：

此外，我对旋转矩阵做了同样的事情，并更新了虚拟对象的旋转。

p.s 我发现了一个类似的问题，但是提出这个问题的人没有 post 清楚地解决问题。

谢谢！

Answer 1

您的旋转 3x3 矩阵紧跟在 cv::solvePnP 之后。该矩阵，因为它是一个旋转，所以是正交和 归一化 。因此，该矩阵的列从左到右排列：

右向量（在 X 轴上）；
向上矢量（在 Y 轴上）；
正向矢量（在 Z 轴上）。

OpenCV 使用右手坐标系。坐在相机上看光轴，X轴向右，Y轴向下，Z轴向前

您将前向向量 F = (fx, fy, fz) 和向上向量 U = (ux, uy, uz) 传递给 Unity。这些分别是第三列和第二列。无需规范化；他们已经标准化了。

在 Unity 中，您可以像这样构建四元数：

Vector3 f; // from OpenCV
Vector3 u; // from OpenCV

// notice that Y coordinates here are inverted to pass from OpenCV right-handed coordinates system to Unity left-handed one
Quaternion rot = Quaternion.LookRotation(new Vector3(f.x, -f.y, f.z), new Vector3(u.x, -u.y, u.z));

差不多就这些了。希望这对您有所帮助！

编辑职位相关评论

注意：OpenCV 中的 Z 轴在相机的光轴上，它穿过图像中心附近但通常不完全在中心。在您的校准参数中，有 Cx 和 Cy 参数。这些组合是图像 space 从中心到 Z 轴穿过图像的位置的二维偏移。必须考虑到这种转变才能在 2D 背景上精确映射 3D 内容。

要在 Unity 中正确定位：

// STEP 1 : fetch position from OpenCV + basic transformation
Vector3 pos; // from OpenCV
pos = new Vector3(pos.x, -pos.y, pos.z); // right-handed coordinates system (OpenCV) to left-handed one (Unity)

// STEP 2 : set virtual camera's frustrum (Unity) to match physical camera's parameters
Vector2 fparams; // from OpenCV (calibration parameters Fx and Fy = focal lengths in pixels)
Vector2 resolution; // image resolution from OpenCV
float vfov =  2.0f * Mathf.Atan(0.5f * resolution.y / fparams.y) * Mathf.Rad2Deg; // virtual camera (pinhole type) vertical field of view
Camera cam; // TODO get reference one way or another
cam.fieldOfView = vfov;
cam.aspect = resolution.x / resolution.y; // you could set a viewport rect with proper aspect as well... I would prefer the viewport approach

// STEP 3 : shift position to compensate for physical camera's optical axis not going exactly through image center
Vector2 cparams; // from OpenCV (calibration parameters Cx and Cy = optical center shifts from image center in pixels)
Vector3 imageCenter = new Vector3(0.5f, 0.5f, pos.z); // in viewport coordinates
Vector3 opticalCenter = new Vector3(0.5f + cparams.x / resolution.x, 0.5f + cparams.y / resolution.y, pos.z); // in viewport coordinates
pos += cam.ViewportToWorldPoint(imageCenter) - cam.ViewportToWorldPoint(opticalCenter); // position is set as if physical camera's optical axis went exactly through image center

您将从物理相机检索的图像放在以其前向轴为中心的虚拟相机正前方（缩放以适合平截头体），然后您在 2D 背景上映射了正确的 3D 位置！

用于在 Unity3D 中定位 3D 对象的 OpenCV 旋转（Rodrigues）和平移向量

OpenCV rotation (Rodrigues) and translation vectors for positioning 3D object in Unity3D

c#

opencv

unity3d

augmented-reality

pose-estimation