具有已知内在和外在矩阵的立体视觉 3d 点计算
stereo vision 3d point calculation with known intrinsic and extrinsic matrix
我用两个相机的固有相机矩阵成功计算了旋转和平移。
我还从左右摄像头获得了校正后的图像。现在，我想知道如何计算一个点的 3D 坐标，只是图像中的一个点。在这里，请看绿点。我查看了方程式，但它需要我不知道如何计算的基线。你能告诉我用给定的信息（R、T 和固有矩阵）计算绿点的 3d 坐标的过程吗？
仅供参考
1. 我还有一个基本矩阵和基本矩阵，以备不时之需。
2. 原始图像尺寸为 960 x 720。修正后的尺寸为 925 x 669
3. 左图中的绿色点：(562, 185)，右图中的：(542, 185)
术语"baseline"通常只表示翻译。由于您已经有了旋转、平移和内在矩阵（让我们不要 R, T 和 K）。您可以进行三角剖分，不需要基本矩阵或基本矩阵（它们可用于提取 R, T 等，但您已经拥有它们）。您实际上也不需要校正图像，因为它不会对三角测量过程产生太大影响。三角测量的方法有很多种，每种方法各有优缺点，还有许多实现这些方法的库。因此，我在这里所能做的就是向您概述问题和潜在的解决方案，以及指向资源的指针，您可以按原样使用这些资源，也可以将其作为编写自己代码的灵感来源。
形式化和解决方案概述。让我们形式化我们的目标。您有一个 3d 点 X，在左右图像中分别有两个观测值 x_1 和 x_2。如果你反向投影它们，你会得到两条光线：
ray_1=K^{1}x_1
rat_2=R*K^{-1}x_2+T //I'm assuming that [R|T] is the pose of the second camera expressed in the referential of the first camera
理想情况下，您希望这两条光线在 X 点相遇。由于在实践中我们总是有一些噪声（离散化噪声、舍入误差等）两条射线不会在 X 处相遇，所以最好的答案是点 Q 这样
Q=argmin_X {d(X,ray_1)^2+d(X,ray_2)^2}
其中 d(.) 表示直线和点之间的欧式距离。您可以将此问题作为常规最小二乘问题来解决，或者您可以只采用几何方法（称为 中点 ）考虑垂直于两者的线段 l ray_1 和 ray_2，并取其中间作为您的解决方案。另一种快速而肮脏的方法是使用分布式账本技术。基本上，您将约束（即 X 应尽可能接近两条射线）重写为线性系统 AX=0 并用 SVD 求解。
通常，几何（中点）法的精度较低。基于 DLT 的方法虽然在数值上不是最稳定的，但通常会产生可接受的结果。
呈现深度形式化的资源
Hartley-Zisserman's 当然是书！第 12 章。第 312 页解释了一种在 opencv 中使用的简单的基于 DLT 的方法（在校准和 sfm 模块中）。它很容易实现，在任何情况下都不应该超过 10 分钟语言。
Szeliski'st book. 它在 SFM 的章节中对三角剖分进行了有趣的讨论，但不如 Hartley-Zisserman 的直接或深入。
Code. 您可以使用来自 opencv 的三角测量方法，可以来自 calib3d 模块，也可以来自 contribs/sfm 模块。两者都使用 DLT，但是来自 SFM 模块的代码更容易理解（calib3d 代码有很多老式的 C 代码，读起来不是很愉快）。还有另一个库，叫做 openGV，它有一些有趣的三角测量方法。
openGV git repo 似乎不是很活跃，我不是图书馆设计的忠实粉丝，但如果我没记错的话（请随时告诉我）它提供DLT 以外的三角测量方法。
当然，这些都是用 C++ 编写的，但是如果你使用其他语言，找到包装器或类似的库不会很困难（使用 python 你仍然有 opencv 包装器，MATLAB 有一个 bundle 模块等.).
我用两个相机的固有相机矩阵成功计算了旋转和平移。 我还从左右摄像头获得了校正后的图像。现在，我想知道如何计算一个点的 3D 坐标，只是图像中的一个点。在这里，请看绿点。我查看了方程式，但它需要我不知道如何计算的基线。你能告诉我用给定的信息（R、T 和固有矩阵）计算绿点的 3d 坐标的过程吗？
仅供参考 1. 我还有一个基本矩阵和基本矩阵，以备不时之需。 2. 原始图像尺寸为 960 x 720。修正后的尺寸为 925 x 669 3. 左图中的绿色点：(562, 185)，右图中的：(542, 185)
术语"baseline"通常只表示翻译。由于您已经有了旋转、平移和内在矩阵（让我们不要 R, T 和 K）。您可以进行三角剖分，不需要基本矩阵或基本矩阵（它们可用于提取 R, T 等，但您已经拥有它们）。您实际上也不需要校正图像，因为它不会对三角测量过程产生太大影响。三角测量的方法有很多种，每种方法各有优缺点，还有许多实现这些方法的库。因此，我在这里所能做的就是向您概述问题和潜在的解决方案，以及指向资源的指针，您可以按原样使用这些资源，也可以将其作为编写自己代码的灵感来源。
形式化和解决方案概述。让我们形式化我们的目标。您有一个 3d 点
X，在左右图像中分别有两个观测值x_1和x_2。如果你反向投影它们，你会得到两条光线：ray_1=K^{1}x_1 rat_2=R*K^{-1}x_2+T //I'm assuming that [R|T] is the pose of the second camera expressed in the referential of the first camera理想情况下，您希望这两条光线在
X点相遇。由于在实践中我们总是有一些噪声（离散化噪声、舍入误差等）两条射线不会在X处相遇，所以最好的答案是点Q这样Q=argmin_X {d(X,ray_1)^2+d(X,ray_2)^2}其中
d(.)表示直线和点之间的欧式距离。您可以将此问题作为常规最小二乘问题来解决，或者您可以只采用几何方法（称为 中点 ）考虑垂直于两者的线段lray_1和ray_2，并取其中间作为您的解决方案。另一种快速而肮脏的方法是使用分布式账本技术。基本上，您将约束（即X应尽可能接近两条射线）重写为线性系统AX=0并用 SVD 求解。通常，几何（中点）法的精度较低。基于 DLT 的方法虽然在数值上不是最稳定的，但通常会产生可接受的结果。
呈现深度形式化的资源
Hartley-Zisserman's 当然是书！第 12 章。第 312 页解释了一种在 opencv 中使用的简单的基于 DLT 的方法（在校准和 sfm 模块中）。它很容易实现，在任何情况下都不应该超过 10 分钟语言。
Szeliski'st book. 它在 SFM 的章节中对三角剖分进行了有趣的讨论，但不如 Hartley-Zisserman 的直接或深入。
Code. 您可以使用来自 opencv 的三角测量方法，可以来自 calib3d 模块，也可以来自 contribs/sfm 模块。两者都使用 DLT，但是来自 SFM 模块的代码更容易理解（calib3d 代码有很多老式的 C 代码，读起来不是很愉快）。还有另一个库，叫做 openGV，它有一些有趣的三角测量方法。
openGV git repo 似乎不是很活跃，我不是图书馆设计的忠实粉丝，但如果我没记错的话（请随时告诉我）它提供DLT 以外的三角测量方法。
当然，这些都是用 C++ 编写的，但是如果你使用其他语言，找到包装器或类似的库不会很困难（使用 python 你仍然有 opencv 包装器，MATLAB 有一个 bundle 模块等.).