有没有办法从使用 ARCore API 捕获的 MP4 中逐帧提取深度和 RGB？
Is there a way to extract frame by frame Both the Depth and RGB from an MP4 captured using ARCore API?
我尝试通过 Android Studio 中 ARCore 的录制和回放 API 创建扫描仪，现在我可以保存 mp4 文件格式。我假设 mp4 文件在捕获文件的 RGB 和深度时有额外的数据。我想逐帧获取那些数据，其中提取的图像同时具有深度和 RGB 数据，但实际上我不知道该怎么做。我尝试搜索相关问题，但没有找到任何结果。 P.S 我对这类项目有点陌生，我会使用你们提供的任何帮助。
在 ARCore 中，深度信息实际上是另一组视频帧，即一个单独的视频轨道，其深度帧与主视频轨道中的每个 'real' 帧匹配。
所以深度信息不是作为元数据存储的，而是作为 MP4 容器中的额外视频轨道存储的。
在线文档给出了视频帧和相应深度帧的示例，这使得这更容易可视化：
你可以看到颜色对应于像素的深度——红色更近，蓝色更远。
更多信息（此时 - 在线文档可能会经常更改）在这里：https://developers.google.com/ar/develop/depth
我尝试通过 Android Studio 中 ARCore 的录制和回放 API 创建扫描仪，现在我可以保存 mp4 文件格式。我假设 mp4 文件在捕获文件的 RGB 和深度时有额外的数据。我想逐帧获取那些数据，其中提取的图像同时具有深度和 RGB 数据，但实际上我不知道该怎么做。我尝试搜索相关问题，但没有找到任何结果。 P.S 我对这类项目有点陌生，我会使用你们提供的任何帮助。
在 ARCore 中，深度信息实际上是另一组视频帧，即一个单独的视频轨道，其深度帧与主视频轨道中的每个 'real' 帧匹配。
所以深度信息不是作为元数据存储的，而是作为 MP4 容器中的额外视频轨道存储的。
在线文档给出了视频帧和相应深度帧的示例，这使得这更容易可视化：
你可以看到颜色对应于像素的深度——红色更近，蓝色更远。
更多信息（此时 - 在线文档可能会经常更改）在这里：https://developers.google.com/ar/develop/depth