在 python 中绘制音频频谱图

Question

我目前有几千个音频剪辑需要用机器学习进行分类。

经过一番挖掘，我发现如果对音频进行短时傅立叶变换，它会变成二维图像，因此我可以对这些图像使用各种图像分类算法，而不是音频文件本身。

为此我发现 python package that does the STFT and all I need is to plot it so I can get the images. For plotting I found this github repo 非常有用。

最后我的代码变成了这样：

import stft    
import scipy
import scipy.io.wavfile as wav
import matplotlib.pylab as pylab

def save_stft_image(source_filename, destination_filename):
    fs, audio = wav.read(source_filename)
    X = stft.spectrogram(audio)

    print X.shape    

    fig = pylab.figure()    
    ax = pylab.Axes(fig, [0,0,1,1])    
    ax.set_axis_off()
    fig.add_axes(ax)      
    pylab.imshow(scipy.absolute(X[:][:][0].T), origin='lower', aspect='auto', interpolation='nearest')
    pylab.savefig(destination_filename)

save_stft_image("Example.wav","Example.png")

输出为：

代码有效，但是我观察到当 print X.shape 行执行时我得到 (513L, 943L, 2L)。所以结果是 3 维的。所以当我只写 X[:][:][0] 或 X[:][:][1] 时，我得到一张图片。

我一直在读这个 "redundancy" STFT 说您可以删除一半，因为您不需要它。那个第三维度是冗余还是我在这里做错了什么？如果是这样，我该如何正确绘制它？

谢谢。

编辑：所以新的代码和输出是：

import stft
import os
import scipy
import scipy.io.wavfile as wav
import matplotlib.pylab as pylab

def save_stft_image(source_filename, destination_filename):
    fs, audio = wav.read(source_filename)
    audio = scipy.mean(audio, axis = 1)
    X = stft.spectrogram(audio)

    print X.shape    

    fig = pylab.figure()    
    ax = pylab.Axes(fig, [0,0,1,1])    
    ax.set_axis_off()
    fig.add_axes(ax)      
    pylab.imshow(scipy.absolute(X.T), origin='lower', aspect='auto', interpolation='nearest')
    pylab.savefig(destination_filename)

save_stft_image("Example.wav","Example.png")

在左侧，我得到了一个几乎看不见的颜色列。我正在处理的声音是呼吸音，所以它们的频率很低。也许这就是为什么可视化是一列非常细的颜色。

Answer 1

您可能有立体声音频文件？所以X[:][:][0]和X[:][:][1]对应每个通道。

您可以通过 scipy.mean(audio, axis=1) 将多声道转换为单声道。

在 python 中绘制音频频谱图

Plotting audio spectrogram in python

python

audio

machine-learning

spectrogram