媒体基金会：SPS/PPS 英特尔硬件 MFT 问题

Question

我正在使用 Intel 硬件 MFT 将 NV12 帧编码为 H264 流，并使用 Live555 通过 LAN 上的 RTP 流式传输编码帧，并在另一端设置 ffplay 以解码和显示相同内容。该设置适用于软件编码器（SYNC 或 ASYNC 软件 MFT），但 ffplay 抱怨在 Intel 硬件 MFT 中完成编码时 SPS/PPS 不可用，并且只显示乱码屏幕。我发现英特尔硬件编码器在提供初始样本后触发 MF_E_TRANSFORM_STREAM_CHANGE 事件，并通过 MF_MT_MPEG_SEQUENCE_HEADER 使 SPS/PPS 可用。我能够捕捉到 MF_E_TRANSFORM_STREAM_CHANGE 事件并获得序列头 blob。

问题是，Live555需要分别设置SPS和PPS。但是，我对从 MF_MT_MPEG_SEQUENCE_HEADER blob 中提取 SPS 和 PPS 感到很困惑。

据我了解，并在其他线程中进一步查找，SPS 和 PPS 分别以 00 00 00 01 67 和 0 00 00 01 68 开头。但是，我在从英特尔编码器收到的 blob 中的任何地方都找不到这些序列。

https://github.com/cisco/openh264/issues/756 SPS 开始：00 00 00 01 67 PPS 开始：00 00 00 01 68

Sequence header obtained from intel MFT:

Sequence header size 50

Squence Header: 0 0 1 27 64 0 28 ac 2b 40 3c 1 13 f2 e0 22 0 0 3 0 2 0 0 3 0 79 d0 80 f 42 0 3 d0 93 7b df 7 68 70 ca 80 0 0 0 1 28 ee 3c b0 0

vector<byte> sequenceHeaderData;
UINT32 sequenceHeaderDataSize = 0;

MFT_OUTPUT_DATA_BUFFER _outputDataBuffer;
memset(&_outputDataBuffer, 0, sizeof _outputDataBuffer);
_outputDataBuffer.dwStreamID = outputStreamID;
_outputDataBuffer.dwStatus = 0;
_outputDataBuffer.pEvents = nullptr;
_outputDataBuffer.pSample = nullptr;

HRESULT mftProcessOutput = _pEncoder->ProcessOutput(0, 1, &_outputDataBuffer, &processOutputStatus);

if (MF_E_TRANSFORM_STREAM_CHANGE == mftProcessOutput) 
{
    // some encoders want to renegotiate the output format. 
    if (_outputDataBuffer.dwStatus & MFT_OUTPUT_DATA_BUFFER_FORMAT_CHANGE)
    {
        CComPtr<IMFMediaType> pNewOutputMediaType = nullptr;
        HRESULT res = _pEncoder->GetOutputAvailableType(outputStreamID, 1, &pNewOutputMediaType);

        res = _pEncoder->SetOutputType(outputStreamID, pNewOutputMediaType, 0);//setting the type again
        CHECK_HR(res, "Failed to set output type during stream change");

        {
            CComPtr<IMFMediaType> pCurOutputMediaType = nullptr;
            HRESULT res = _pEncoder->GetOutputAvailableType(outputStreamID, 1, &pCurOutputMediaType);

            res = pCurOutputMediaType->GetBlobSize(MF_MT_MPEG_SEQUENCE_HEADER, &sequenceHeaderDataSize);

            if (SUCCEEDED(res) && sequenceHeaderDataSize > 0) 
            {
                sequenceHeaderData.resize(sequenceHeaderDataSize);

                pCurOutputMediaType->GetBlob(MF_MT_MPEG_SEQUENCE_HEADER, sequenceHeaderData.data(), sequenceHeaderDataSize, NULL);

                cout << "Sequence header size " << sequenceHeaderDataSize << std::endl;
            }
            else 
            {
                cout << "Sequence header is not available" << std::endl;
            }
        }
    }
}

Answer 1

As per my understanding, and further lookup in other threads, SPS and PPS start with 00 00 00 01 67 and 0 00 00 01 68 respectively.

你假设错了。

来自您的示例 header：

这是 SPS： 0 0 1 27 64 0 28 ac 2b 40 3c 1 13 f2 e0 22 0 0 3 0 2 0 0 3 0 79 d0 80 f 42 0 3 d0 93 7b df 7 68 70 ca 80

这是 PPS： 0 0 0 1 28 ee 3c b0 0

Explanation:

SPS nalu类型定义为第一个字节的最后5位中的7位，在起始码之后。（不是 67）。

PPS nalu类型在起始码后的第一个字节的最后5位分别为8（不是68）。

注意：起始码只能包含3个字节，值分别为：0 0 1。

媒体基金会：SPS/PPS 英特尔硬件 MFT 问题

Media Foundation: SPS/PPS problem with Intel hardware MFT

rtp

video-streaming

live555

ms-media-foundation