使用媒体源扩展逐帧解码

Question

我一直在研究 Internet 上的媒体源扩展示例，但还没有完全找到一种方法来使它们适应我的需要。

我正在寻找本地缓存的 MP4/WebM 视频（带 100% 关键帧和 1:1 clusters/atoms 与关键帧的比率）并且 decode/display 它们不是-顺序（即帧 10、400、2、100 等）并能够以 0-60fps 的速率按需渲染这些非顺序帧。使用 currentTime 属性的简单非 MSE 方法由于设置此属性和显示帧的延迟而失败。

我意识到这完全超出了视频播放的正常预期，但我的应用程序需要这种类型的非顺序高速播放。理想情况下，我可以使用 h264 来实现 GPU 加速，但我意识到可能有一些特定于平台的 GPU 缓冲区需要应对，尽管零帧缓冲区似乎是可能的（参见 here）。我希望 MSE 可以完成这种非连续的高帧率低延迟播放，但我知道我要求很多。

问题：

appendBuffer 是否接受由单个关键帧组成的单个 WebM 集群/MP4 Atom，并且还能够以高频率（60fps）解码？
你认为我正在尝试做的事情在浏览器中可行吗？

任何帮助、见解或代码 suggestions/examples 将不胜感激。

谢谢！

2016 年 4 月 5 日更新

我能够让 MSE 主要在 Firefox、Edge 和 Chrome 中处理单帧 MP4 片段。但是，Chrome 似乎是运行进入上面链接的帧缓冲区问题，我还没有找到一种方法来预处理 MP4 以调用此 "low delay" 模式。如果可以使用 MP4Box 等现有工具创建这样的文件，有人知道吗？

Firefox 和 Edge decode/display 立即显示单个帧，延迟非常小，但是当我将此视频加载到 Three.js WebGL 项目（无视频输出，无错误）时，当然会出现问题。我暂时忽略了这一点，因为我更愿意在 Chrome 上工作，因为我也将以 Android 为目标。

Answer 1

我能够很好地完成这项工作。关键是通过使用修改后的 mp4box 源混合特制的 MP4 文件，让 Chrome 进入其 "low delay" 模式。我在 movie_fragments.c 中添加了一行，所以它显示为：

        if (movie->moov->mvex->mehd && movie->moov->mvex->mehd->fragment_duration) {
            trex->track->Header->duration = 0;
            Media_SetDuration(trex->track);
            movie->moov->mvex->mehd->fragment_duration = 0;
        }

现在创建的每个 MP4 都将 MEHD 片段持续时间设置为 0，这导致 Chrome 将其作为实时流处理。

我还有一个与 timestampOffset 属性相关的问题，它与媒体片段中设置的 FPS 一起控制播放速度。因为我希望直接控制 FPS，所以我不希望 MSE 播放引擎增加任何延迟。我将 post 在这里提出一个单独的问题来解决这个问题。

谢谢，达斯汀

使用媒体源扩展逐帧解码

Frame by frame decode using Media Source Extension

html5-video

mp4

h.264

webm

media-source

2016 年 4 月 5 日更新