如何在点云中的 3D 边界框的 RGBD 帧序列上设置 2D 边界框?

How can i have 2D bounding box on a sequence of RGBD frames from a 3D bounding box in point clouds?

我通过使用 Open3d 重建系统(通过一系列 RGBD 帧制作点云)获得了我的对象的 3d 点云,我还在点云中的对象上创建了一个 3d 边界框 我的问题是如何在 3d 边界框的相同坐标处的所有 RGB 帧上设置 2d 边界框? 我的想法是将 3d bb 投影到 2d bb 但很明显,对象的位置在每一帧中都不同,所以我不知道如何使用这种方法? 感谢任何帮助或解决方案,谢谢

  • 计算盒子八个角的分数
  • 将世界坐标系中的那些点转换到您选择的相机坐标系中
  • 投射点,必要时应用镜头畸变。

OpenCV 具有用于其中一些操作的函数,并为您提供其余部分的矩阵数学支持。

我猜 Open3d 会为您提供所有相机的姿势矩阵。您可以使用它们从世界坐标系转换为任何相机的坐标系。