在 HoloLens 上以 30fps 访问 RGB 相机(或可定位相机)

Access the RGB camera (or Locatable Camera) at 30fps on HoloLens

我正在尝试以 30 FPS 的速度访问 Hololens 可定位相机,并尽可能减少延迟。我试过使用 WebCamTexture 但它有明显的延迟以及帧丢失。我还使用了 MediaCapture 示例(它似乎明显更快)但它显示在 2D 元素 CaptureElemnet 上。有什么方法可以使用 MediaCapture API 获取每个帧的字节数组,以便我可以在 Unity3D 的立方体纹理上渲染它。

我们创建了一个名为 CameraStream 的开源项目来满足这一需求。作为一个 Unity 插件,它使用 MediaCapture 将字节数组馈送到 Unity(连同可定位矩阵)。从那里您可以将字节分配给 Texture2D,如提供的 Unity 示例所示。