使用 MediaExtractor 和 MediaCodec 在视频播放中跳帧

Question

我正在使用 MediaExtractor/MediaCodec 解码视频并将其渲染到 TextureView。作为模板，我使用了以下代码：https://github.com/vecio/MediaCodecDemo/blob/master/src/io/vec/demo/mediacodec/DecodeActivity.java

我希望能够以 2 倍速播放视频。幸运的是，媒体 encoding/decoding 足够快，因此我可以通过让 MediaCodec 解码每一帧，然后仅将每隔一帧渲染到屏幕来完成此操作。然而，这并不是一个很好的解决方案，特别是如果你想增加一个任意值的播放。例如，在 10 倍速下，编解码器无法以足够快的速度解码帧，无法以 30 fps 的速度每 10 帧播放一次。

所以我想通过多次调用 MediaExtractor.advance() 来跳过不需要解码的帧来控制播放。例如：

        ...
        mDecoder.queueInputBuffer(inIndex, 0, sampleSize, mExtractor.getSampleTime(), 0);
        for (i = 0; i < playbackSpeedIncrease; i++) {
               mExtractor.advance();
        }
        ...

使用此代码，理论上提取器应该只提取每个 nth 帧，其中 n 由变量 [=31] 定义=].例如，如果 n = 5，这应该前进到第 1-4 帧并且只提取第 5 帧。

然而，这在实践中行不通。当我运行这段代码时，渲染到屏幕上的图像是扭曲的：

有人知道这是为什么吗？对于以任意速度增加播放视频的更好方法有什么建议吗？

Answer 1

您通常不能对 AVC 视频执行此操作。

编码视频有 "key"（或 "sync" 或 "I"）帧包含完整图像，但关键帧之间的帧包含前一帧的 "diffs" .你可以在维基百科上找到一些关于视频编码方法的文章，例如this one。您得到的视频很糟糕，因为您跳过了一个关键帧，现在正在根据错误的图像计算差异。

如果你见过视频快进流畅但快退笨拙的情况，例如在 TiVo 上，这就是原因：视频解码器快速向前播放，但反向播放 I 帧，将它们在屏幕上保持足够长的时间以获得所需的速率。在 "faster" forward/reverse 时它会变平，因为设备只是在播放 I 帧。您可以通过观察从 MediaExtractor 获得的帧上的 SAMPLE_FLAG_SYNC 标志来做类似的事情。

一般来说，您只能以设备可以解码的速度播放视频，或者只播放关键帧。（如果您足够了解特定编码中特定视频的布局，您可能会做得更好，例如播放 I 和 P 而不是 B，但我不确定这在 AVC 中是否可行。）

I帧的频率由视频编码器决定。它往往是每秒一个或两个，但是如果您从不同的来源获取视频，那么您可以预期 GOP 大小（图片组，即 I 帧之间有多少帧）会有所不同。

使用 MediaExtractor 和 MediaCodec 在视频播放中跳帧

Skip frames in video playback with MediaExtractor and MediaCodec

java

video

android

mediaextractor

android-mediacodec