splitting/joining mp3 时 pydub 音频故障

Question

我正在尝试使用我非常喜欢的 pydub，但是当 splitting/joining 一个 mp3 文件时我遇到了问题。

我需要在服务器上生成一系列小的音频片段，这些片段将按顺序发送到网络浏览器并通过 <audio/> 元素播放。我需要音频播放 'seamless' 且各个片段之间没有可听见的连接。但是目前，各个音频位之间的连接非常明显，有时会出现短暂的静音，有时会出现奇怪的音频故障。

在我的概念验证代码中，我采用了一个大的 mp3 并将其分成 1 秒的块，如下所示：

song = AudioSegment.from_mp3('my.mp3')
song_pos = 0
while song_pos < 100:
    p1 = song_pos * 1000
    p2 = p1 + 1000

    segment = song[p1:p2] # 1 second of audio

    output = StringIO.StringIO()
    segment.export(output, format="mp3")
    client_data = output.getvalue() # send this to client

    song_pos += 1

client_data 值通过长期存在的 http 连接流式传输到浏览器：

socket.send("HTTP/1.1 200 OK\r\nConnection: Keep-Alive\r\nContent-Type: audio/mp3\r\n\r\n")

然后对于每个新的音频块

socket.send(client_data)

任何人都可以解释我听到的故障，并提出消除它们的方法吗？

Answer 1

声音是波形，你连接的是两个相位不同的波；所以你得到了一个阶跃函数，这使得流行。

我不熟悉这个软件，但整理了 Nils Werner 的建议，你可以试试：

song = AudioSegment.from_mp3('my.mp3')
song_pos = 0

# begin with a millisecond of blank
segment = AudioSegment.silent(duration=1)
# append all your pieces to it
while song_pos < 100:
    p1 = song_pos * 1000
    p2 = p1 + 1000
    #append an item to your segment with several milliseconds of crossfade
    segment.append(song[p1:p2], crossfade=50)
    song_pos += 1

# then pass it on to your client outside of your loop
output = StringIO.StringIO()
segment.export(output, format="mp3")
client_data = output.getvalue() # send this to client

根据 low/high 您加入的频率，您需要调整淡入淡出时间以进行混合；低频将需要更多的淡入淡出。

Answer 2

所以，我可能完全错了，我通常不会弄乱音频文件，但这可能是索引问题。试试，

p2 = p1 + 1001

但您可能需要反转连接过程才能使其正常工作。除非你在末尾多加一个毫秒。

我认为唯一的另一件事可能是在将字节转换为字符串时进入的流中的工件。尝试使用 AudioSegment().raw_data 端点来表示音频的字节。

Answer 3

正在将我的评论升级为答案：

主要问题是 ffmpeg 使用的 MP3 编解码器会在编码音频的末尾添加静音（您的方法是生成多个单独的音频文件）。

如果可能，请使用 wave 等无损格式，然后使用 gzip 或类似工具减小文件大小。您也可以使用无损音频压缩（例如 flac），但这可能取决于编码器的工作方式。

对于您听到的杂音，我没有确凿的解释，但可能是您在信号不为零的位置拆分了音频。如果声音以值为 100 的样本开始（例如），则听起来像是数字爆音。 MP3 压缩也可能会改变声音，尤其是在较低的比特率下。如果这是问题所在，1 毫秒的淡入将消除爆音而不会产生明显的可闻 "fade"（尽管可能会引入其他伪影）- 更长的淡入（例如 20 或 50 毫秒会避免奇怪的频域伪影，但会引入明显 "fade in"。

如果你愿意多做一点（编码）工作，你可以搜索一个"zero crossing"（基本上，信号自然处于零点的地方）并在那里分割音频.

可能是最好的方法：

将整个信号编码为单个压缩文件，并将（该文件的）字节以块的形式发送到客户端，以便作为单个流播放。如果您使用恒定比特率 mp3 编码 (CBR)，您只需计算字节数就可以发送几乎完美的 1 秒长块。例如，使用 256kbps CBR，一次只需发送 256KB。

splitting/joining mp3 时 pydub 音频故障

pydub audio glitches when splitting/joining mp3

python

audio-streaming

pydub