控制 VirtualDisplay 的帧率

Question

我正在编写一个 Android 应用程序，在其中，我有一个 VirtualDisplay 来镜像屏幕上的内容，然后我将帧从屏幕发送到一个实例MediaCodec。它有效，但是，我想添加一种指定编码视频 FPS 的方法，但我不确定如何操作。

根据我的阅读和实验，丢弃编码帧（基于呈现时间）效果不佳，因为它最终会产生 blocky/artifact 缠绕的视频，而不是流畅的视频较低的帧率。其他阅读建议，做我想做的事情（限制 FPS）的唯一方法是将传入的 FPS 限制为 MediaCodec，但 VirtualDisplay 只接收一个 Surface 构造来自 MediaCodec 如下

mSurface = <instance of MediaCodec>.createInputSurface();
mVirtualDisplay = mMediaProjection.createVirtualDisplay(
    "MyDisplay",
    screenWidth,
    screenHeight,
    screenDensity,
    DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR,
    mSurface,
    null,
    null);

我也尝试过子类化 Surface 并限制通过 unlockCanvasAndPost(Canvas canvas) 提供给 MediaCodec 的帧，但我的实例似乎从未调用过该函数，所以，我如何扩展 Surface 以及与 Parcel 的交互可能有些奇怪，因为 writeToParcel 函数 is 在我的实例上调用，但是是在我的实例中调用的唯一函数（我可以告诉）。

其他阅读建议我可以从编码器 -> 解码器 -> 编码器开始，并限制第二个编码器馈送帧的速率，但这是很多额外的计算，如果可以的话我宁愿不这样做避免它。

有没有人成功地限制了 VirtualDisplay 给 Surface 喂食的速度？任何帮助将不胜感激！

Answer 1

从您不能做的事情开始...

您不能从编码流中删除内容。编码流中的大部分帧基本上来自其他帧 "diffs"。在不知道帧如何交互的情况下，您无法安全地删除内容，并且最终会出现损坏的宏块外观。

您不能为 MediaCodec 编码器指定帧速率。它可能会将其填充到某处的元数据中，但对编解码器真正重要的唯一事情是您输入其中的帧，以及与每个帧相关联的呈现时间戳。编码器不会丢帧。

继承 Surface 无法做任何有用的事情。 Canvas 操作仅用于软件渲染，与从相机或虚拟显示器输入帧无关。

您可以做的是将帧发送到中间表面，然后选择是否将它们转发到 MediaCodec 的输入表面。一种方法是创建一个 SurfaceTexture，从中构造一个 Surface，然后将其传递给虚拟显示器。当 SurfaceTexture 的帧可用回调触发时，您要么忽略它，要么使用 GLES 将纹理渲染到 MediaCodec 输入表面上。

可以在 Grafika and on bigflake 中找到各种示例，其中 none 非常合适，但所有必要的 EGL 和 GLES 类都在那里。

Answer 2

你可以参考saki4510t's ScreenRecordingSample or RyanRQ's ScreenRecoder的代码示例，它们都是在虚拟显示器和媒体编码器之间使用额外的EGL Texture，第一个可以保持至少15 fps的输出视频。您可以从他们的代码库中搜索关键字 createVirtualDisplay 以获取更多详细信息。

控制 VirtualDisplay 的帧率

Controlling Frame Rate of VirtualDisplay

android

android-mediacodec