使用 pcl 或 opencv 在 2d 场景中匹配 3d 模型

Matching 3d models in a 2d scene using pcl or opencv

我有一个用 3d 扫描仪获得的 3d 模型,我想在 2d 场景(包含模型的简单 2d 视频)中匹配它。

我知道 pcl 只处理点云和 opencv 处理 2d 图像,是否可以使用它们中的任何一个从 3d 模型中提取关键点,然后使用它们在二维图像?

这取决于对象的种类。如果您寻找像盒子一样的简单形状对象,您可以检测 3D 和 2D 的角并将它们匹配在一起。

对于更复杂的对象,您可能需要对点云进行网格划分以找到可靠的兴趣点。例如,这篇论文https://hal.inria.fr/hal-00682775/file/squelette-rr.pdf解释了一种在形状或表面中提取鲁棒点的方法,但我不知道在 2D 和 3D 中是否会提取相同的关键点。

找到所有关键点并将它们投影到地平面上以获得等效的二维图像。您也可以使用 pcl 二维投影技术。 Generate image from an unorganized Point Cloud in PCL

可能重复