直接来自 NVENC 编码器的 RTMP 直播流

Question

我正在尝试创建一个实时 RTMP 流，其中包含使用 NVIDIA OptiX 生成的动画。流由nginx + rtmp模块接收并以MPEG-DASH格式播放。如果首先将视频保存到 .flv 文件然后我使用 ffmpeg 发送它而不使用命令重新格式化，则最多 dash.js 个播放器的完整链可以工作：

ffmpeg -re -i my_video.flv -c:v copy -f flv rtmp://x.x.x.x:1935/dash/test

但我想直接从代码流式传输。有了这个，我就失败了……Nginx 记录了一个错误 "dash: invalid avcc received (2: No such file or directory)"。然后它似乎正确地接收了流（片段在滚动，破折号清单在那里），但是流无法在浏览器中播放。

我只能在清单中看到直接流和文件流之间的一个区别。缺少直接流中表示的编解码器属性：codecs="avcc1.000000" 而不是我从文件流式传输时得到的 "avc1.640028"。

我的代码打开流：

av_register_all();
AVOutputFormat* fmt = av_guess_format("flv",
file_name, nullptr);
fmt->video_codec = AV_CODEC_ID_H264;

AVFormatContext* _oc;
avformat_alloc_output_context2(&_oc, fmt, nullptr, "rtmp://x.x.x.x:1935/dash/test");

AVStream* _vs = avformat_new_stream(_oc, nullptr);
_vs->id = 0;
_vs->time_base = AVRational { 1, 25 };
_vs->avg_frame_rate = AVRational{ 25, 1 };

AVCodecParameters *vpar = _vs->codecpar;
vpar->codec_id = fmt->video_codec;
vpar->codec_type = AVMEDIA_TYPE_VIDEO;
vpar->format = AV_PIX_FMT_YUV420P;
vpar->profile = FF_PROFILE_H264_HIGH;
vpar->level = _level;
vpar->width = _width;
vpar->height = _height;
vpar->bit_rate = _avg_bitrate;

avio_open(&_oc->pb, _oc->filename, AVIO_FLAG_WRITE);
avformat_write_header(_oc, nullptr);

我从 NVENC 编码器设置中获得的宽度、高度、比特率、级别和配置文件。我也做了错误检查，这里省略了。然后我有一个循环写入每个编码数据包，IDR 帧等都是用 NVENC 即时准备的。循环体是：

auto & pkt_data = _packets[i];
AVPacket pkt = { 0 };
av_init_packet(&pkt);
pkt.pts = av_rescale_q(_n_frames++, AVRational{ 1, 25 }, _vs->time_base);
pkt.duration = av_rescale_q(1, AVRational{ 1, 25 }, _vs->time_base);
pkt.dts = pkt.pts;
pkt.stream_index = _vs->index;
pkt.data = pkt_data.data();
pkt.size = (int)pkt_data.size();

if (!memcmp(pkt_data.data(), "\x00\x00\x00\x01\x67", 5))
{
    pkt.flags |= AV_PKT_FLAG_KEY;
}

av_write_frame(_oc, &pkt);

显然 ffmpeg 正在某处编写 avcc 代码...我不知道在哪里添加此代码以便 RTMP 服务器可以识别它。或者我还遗漏了什么？

非常感谢任何提示，伙计们！

Answer 1

多亏了 Gyan 的评论，我才得以解决问题。在 wrapper 中的 AV_CODEC_FLAG_GLOBAL_HEADER 标志之后，可以看到全局 header 是如何添加的，这在我的例子中是缺失的。你可以直接使用NVENC API函数nvEncGetSequenceParams，不过反正我用的是SDK，比较干净

所以我必须将 header 附加到 AVCodecParameters::extradata:

std::vector<uint8_t> payload;
_encoder->GetSequenceParams(payload);
vpar->extradata_size = payload.size();
vpar->extradata = (uint8_t*)av_mallocz(payload.size() + AV_INPUT_BUFFER_PADDING_SIZE);
memcpy(vpar->extradata, payload.data(), payload.size());

_encoder 是我来自 SDK 的 NvEncoder 实例。

wrapper 正在做同样的事情，但是使用了已弃用的结构 AVCodecContext。

直接来自 NVENC 编码器的 RTMP 直播流

RTMP live stream directly from NVENC encoder

ffmpeg

libav

libx264

mpeg-dash