使用 Kinect 进行 3D 对象跟踪检测

Question

我正在使用 Kinect 传感器识别对象，以便获取对象的 x、y、z 坐标。

我正在尝试查找与此相关的信息，但找不到太多。我也看过视频，但没有人分享信息或任何示例代码？ 这就是我想要实现的 https://www.youtube.com/watch?v=nw3yix3XomY

可能很少有人会问同样的问题，但由于我是 Kinect 和这些库的新手，因此我需要更多指导。

我在某处读到说使用 Kinect v1 无法进行对象检测。我们需要使用 3rd 方库，如开放式 CV 或点云 (pcl)。

有人可以帮助我，即使使用第三方库，我如何通过 Kinect 传感器准确识别对象？

这真的很有帮助。

谢谢。

Answer 1

正如您在评论中所链接视频的作者所说，this PCL 教程会对您有所帮助。正如您已经发现的那样，使用独立 SDK 可能无法实现这一点。靠PCL，不至于重新发明轮子

想法是：

1. 对云进行下采样，以便在接下来的步骤中处理更少的数据（这也会稍微降低噪音）。
2. 识别keypoints/features（即对某些变换保持某种不变的点、区域、纹理）。
3. 计算关键点描述符，这些特征的数学表示。
4. 对于每个场景关键点描述符，在模型关键点描述符云中找到最近的邻居并将其添加到对应向量中。
5. 对关键点进行聚类，检测场景中的模型。

教程中的软件需要用户手动输入模型和场景文件。它不会像您链接的视频那样在实时提要上执行此操作。

虽然过程应该非常相似。我不确定检测的 cpu 强度如何，因此可能需要额外的性能调整。

一旦您进行了逐帧检测，您就可以开始考虑跨帧实际跟踪对象。但那是另一个话题了。