vpx_codec_decode return 正确但 vpx_codec_get_frame return 没有框架

Question

我想制作一个可以运行 webm(vp8/vp9) 文件的播放器。

我制作播放器以便每次它找到一个簇时将簇发送到解码器并将所有帧放入内存。

奇怪的事情发生了，如果我多次调用同一个集群，解码器 "vpx_codec_get_frame()" 停止寻找一些帧，如果我多次重复这个过程，没有帧从集群中解码，但每次在我尝试之前解码我称为 "vpx_codec_decode()" 的帧，它 returns 为真，即使 vpx_codec_get_frame() returns 是一个空指针；

此外，解码过程受我使用的线程数的影响，例如，如果我使用一个线程与 8 个线程，我会从集群中获得不同数量的帧。

我怀疑线程可能没有在新缓冲区帧到来的同时完成，因此可能会导致问题。

此外，我在通过使用 mkvmerge 工具合并三个视频获得的 Mkv 视频上测试我的播放器，我的播放器应该打开一个包含多个轨道的 mkv 文件并同时显示所有轨道。

代码如下：初始化解码器：

 VPXDecoder::VPXDecoder(const WebMDemuxer &demuxer, unsigned threads) :
    m_ctx(NULL),
    m_iter(NULL),
    m_delay(0),
    m_last_space(VPX_CS_UNKNOWN)
{
    if (threads > 8)
        threads = 8;
    else if (threads < 1)
        threads = 1;


    const vpx_codec_dec_cfg_t codecCfg = {
        threads,
        0,
        0
    };
    vpx_codec_iface_t *codecIface = NULL;

    switch (demuxer.getVideoCodec())
    {
        case WebMDemuxer::VIDEO_VP8:
            codecIface = vpx_codec_vp8_dx();
            break;
        case WebMDemuxer::VIDEO_VP9:
            codecIface = vpx_codec_vp9_dx();
            m_delay = threads - 1;
            break;
        default:
            return;
    }

    m_ctx = new vpx_codec_ctx_t;
    if (vpx_codec_dec_init(m_ctx, codecIface, &codecCfg, m_delay > 0 ? VPX_CODEC_USE_FRAME_THREADING : 0))
    {
        delete m_ctx;
        m_ctx = NULL;
    }

}

这是调用 vpx_codec_decode() 的代码：

bool VPXDecoder::decode(const WebMFrame &frame)
{
    m_iter = NULL;
    this->decodead = !vpx_codec_decode(m_ctx, frame.buffer, frame.bufferSize, NULL, 0);
    return  decodead;
}

最后应该在哪里解码图像：

VPXDecoder::IMAGE_ERROR VPXDecoder::getImage(Image &image)
{
    IMAGE_ERROR err = NO_FRAME;
    vpx_image_t *img = NULL;
    img = vpx_codec_get_frame(m_ctx, &m_iter);

    if (/*vpx_image_t *img = vpx_codec_get_frame(m_ctx, &m_iter)*/ img != NULL)
    {
        // It seems to be a common problem that UNKNOWN comes up a lot, yet FFMPEG is somehow getting accurate colour-space information.
        // After checking FFMPEG code, *they're* getting colour-space information, so I'm assuming something like this is going on.
        // It appears to work, at least.
        if (img->cs != VPX_CS_UNKNOWN)
            m_last_space = img->cs;
        if ((img->fmt & VPX_IMG_FMT_PLANAR) && !(img->fmt & (VPX_IMG_FMT_HAS_ALPHA | VPX_IMG_FMT_HIGHBITDEPTH)))
        {
            if (img->stride[0] && img->stride[1] && img->stride[2])
            {
                const int uPlane = !!(img->fmt & VPX_IMG_FMT_UV_FLIP) + 1;
                const int vPlane =  !(img->fmt & VPX_IMG_FMT_UV_FLIP) + 1;

                image.w = img->d_w;
                image.h = img->d_h;
                image.cs = m_last_space;
                image.chromaShiftW = img->x_chroma_shift;
                image.chromaShiftH = img->y_chroma_shift;

                image.planes[0] = img->planes[0];
                image.planes[1] = img->planes[uPlane];
                image.planes[2] = img->planes[vPlane];

                image.linesize[0] = img->stride[0];
                image.linesize[1] = img->stride[uPlane];
                image.linesize[2] = img->stride[vPlane];

                err = NO_ERROR;
            }
        }
        else
        {
            err = UNSUPPORTED_FRAME;
        }
    }
    return err;
}

在我的项目中，我使用了以下代码：

https://github.com/zaps166/libsimplewebm

有人可以推荐另一种方法来解码 vp8/9 帧或将问题归入我的代码吗？

Answer 1

我发现了问题，我构建我的播放器时它一次只请求一个集群，但我不知道 webm 文件需要在每个集群的开头都有一个关键帧，所以解决方案是在每个簇的开头制作一个关键帧并从那里使用解码器。

vpx_codec_decode return 正确但 vpx_codec_get_frame return 没有框架

vpx_codec_decode return true but vpx_codec_get_frame return no frame

c++

video

webm

vp8

vp9