使用 ffmpeg 解码 AAC 音频

Question

我正在尝试解码 ADTS 容器中的 AAC 音频流，它是从外部硬件 H264 编码器流式传输的。

我已经解析出 ADTS，它告诉我我有一个 2 通道、44100 AAC 主配置文件框架。我为 ffmpeg 解码器设置额外的数据字节并解码帧 successfully? 如下：

(伪c++代码)

设置解码器：

avcodec_find_decoder(codec_id);
avcodec_alloc_context3(context->codec);
avcodec_open2(context->av_codec_context, context->codec, nullptr);
av_init_packet(&context->av_raw_packet);

设置额外的数据字节：

// AOT_MAIN, 44.1kHz, Stereo
// 00001010 00010000
// extradata = 0x0A, 0X10
memcpy(context->av_codec_context->extradata, extradata, extradataLength);
avcodec_open2(context->av_codec_context, context->codec, nullptr);

然后解码帧：

// decode frame
const int len = avcodec_decode_audio4(context->av_codec_context, context->frame, &got_frame, &context->av_raw_packet);
*sampleRate = context->av_codec_context->sample_rate;
*sampleFormat = context->av_codec_context->sample_format;
*bitsPerSample = av_get_bytes_per_sample(context->av_codec_context->sample_fmt) * 8;
*channels = context->av_codec_context->channels;
*channelLayout = context->av_codec_context->channelLayout;
// get frame
*outDataSize = av_samples_get_buffer_size(nullptr, context->av_codec_context->channels, context->frame->nb_samples, context->av_codec_context->sample_fmt, 1);

解码帧：

// array of 8192 bytes, context info is as expected:
context->av_codec_context->channels = 2
context->av_codec_context->channelLayout = 3 (AV_CH_LAYOUT_STEREO)
context->frame->sample_fmt = 8 (AV_SAMPLE_FMT_FLTP) // float, planar
context->frame->sample_rate = 44100

现在据我了解，32 位原始格式的每个帧每个样本将有 4 个字节，并且每个通道将交错（因此每第 4 个字节是交替通道）。这给我留下了每个通道 1024 个样本（8192 / 32 位 / 2 个通道）。

我试过将此数据的多个帧导出到一个文件，并在 Audacity 中导入为原始文件（32 位浮点数、2 通道 44100Hz、小端）以进行完整性检查。我得到的不是音乐，而是噪音，检测到的音频长度比我预期的要长得多（5 秒转储到文件，但 Audacity 说是 22.5 秒）。我尝试了多种导入格式设置。我在这里可能做错了什么？

我对处理音频有点陌生，所以我可能误解了一些东西。

编辑：我尝试将音频平移到正确的频道，并将其反映在数据中。它也看起来像一个重复模式，正好间隔 1024 个样本，这对我来说表明一个编程错误，缓冲区在第一个样本之后没有被覆盖。

Answer 1

这只不过是一个很难找到的错误。在 Audacity 中放大音频样本显示了 1024 个样本宽的重复模式。

缓冲区实际上没有正确更新，我一遍又一遍地处理相同的音频帧：

for(var offset = 0; offset < packet.Length; offset++) {
  var frame = ReadAdtsFrame();
  // offset += frame.Length; 
  // ^ essentially this was missing, so the frame buffer was always the first frame
}

我将把它留在这里是为了向世界展示我的耻辱，并提醒人们，最终往往是你自己的错误导致了你。

使用 ffmpeg 解码 AAC 音频

Decoding AAC audio with ffmpeg

c++

audio

ffmpeg

pcm

aac