将音频流输入到 FFMPEG

Question

我正在使用 C# 和 ffmpeg.exe 构建一个实时聊天应用程序。我的要求是从 Microsoft Speech API 获取内存流并将其实时提供给 ffmpeg 进程。我可以从 Microsoft Speech API 获取内存流。我正在使用以下代码创建内存流。

        using (MemoryStream stream = new MemoryStream())
        {
            MemoryStream streamAudio = new MemoryStream();
            System.Media.SoundPlayer m_SoundPlayer = new System.Media.SoundPlayer();
            _speechSynthesizerVisemesSender.SetOutputToWaveStream(streamAudio);
            _speechSynthesizerVisemesSender.SetOutputToNull();
            stream.WriteTo(proc.StandardInput.BaseStream);
        }

我已经在使用另一个数据管道和另一个命令将视频内容提供给 ffmpeg。但是我找不到通过数据管道传输音频的稳定解决方案。 This 文章简要介绍了音频数据管道。我正在使用以下命令来流式传输音频。

"ffmpeg -re -f s16le -i pipe:wav -f mpegts udp://127.0.0.1:1234"

但它不适用于数据管道。如果我用 mp3 或 wav 文件尝试该命令，它会起作用。

Answer 1

由于 Microsoft Speech API 是为桌面应用程序设计的，不支持 Web 应用程序，因此您无法从语音 API 中获得连续的音频流。因此，您唯一的选择是使用 SAPI 创建一个 wav 文件并将音频文件与流合并。

当您有音频文件时，您可以使用 ffmpeg 中的音频输入选项。

ffmpeg -re -f s16le -i pipe:wav -i audio.mp3 -r 10 -vcodec mpeg4 -f mpegts udp://127.0.0.1:1234

但问题是您无法将音频映射到视频流。如果您不必将音频与视频同步，则可以使用上述命令。

将音频流输入到 FFMPEG

Inputting Audio Stream to FFMPEG

c#

ffmpeg

microsoft-speech-api