来自两个（立体）摄像机的连续视频流的 3D 点云

Question

我从汽车挡风玻璃右上角和左上角的两个摄像头拍摄了连续的视频（请注意，它们没有固定在一起，我将它们大致对齐）。现在我正在尝试从中制作 3D 点云，但不知道该怎么做。我上网冲浪了很多，但仍然找不到任何有用的信息。你能给我一些链接或提示，告诉我如何在 Python 中完成这项工作吗？

Answer 1

您可以尝试OpenCV library. Start with this short Python sample中的立体匹配和点云生成实现。

我假设您有两个不完全同步的独立视频流。您必须先同步它们，因为链接示例需要两张图片，而不是视频。使用 OpenCV 或 ffmpeg 从视频中提取图像并找到具有完全相同时间点的图像对（例如交通灯上出现的绿色）。或者，您可以使用音轨进行同步，请参阅 https://github.com/benkno/audio-offset-finder。当心：基于单个帧对或短音频摘录的同步可能仅在同步时间点前后几分钟有效。