Python 中的音调检测

Question

我正在研究的程序的概念是一个 Python 模块，它检测某些频率（人类语音频率 80-300hz）并通过检查数据库显示句子的语调。我使用 SciPy 来绘制声音文件的频率，但我无法设置任何特定频率来分析音高。我该怎么做？

更多信息：我希望能够在语音中设置定义的模式（例如上升、下降），并且程序会检测声音文件是否遵循特定模式。

Answer 1

您可以尝试以下方法。我相信你知道人声也有超过 300 赫兹的谐波。不过，您可以在音频文件中移动 window，并尝试查看最大功率（如下所示）或 window 中的一组频率的变化。下面的代码是为了给出直觉：

import scipy.fftpack as sf
import numpy as np
def maxFrequency(X, F_sample, Low_cutoff=80, High_cutoff= 300):
        """ Searching presence of frequencies on a real signal using FFT
        Inputs
        =======
        X: 1-D numpy array, the real time domain audio signal (single channel time series)
        Low_cutoff: float, frequency components below this frequency will not pass the filter (physical frequency in unit of Hz)
        High_cutoff: float, frequency components above this frequency will not pass the filter (physical frequency in unit of Hz)
        F_sample: float, the sampling frequency of the signal (physical frequency in unit of Hz)
        """        

        M = X.size # let M be the length of the time series
        Spectrum = sf.rfft(X, n=M) 
        [Low_cutoff, High_cutoff, F_sample] = map(float, [Low_cutoff, High_cutoff, F_sample])

        #Convert cutoff frequencies into points on spectrum
        [Low_point, High_point] = map(lambda F: F/F_sample * M, [Low_cutoff, High_cutoff])

        maximumFrequency = np.where(Spectrum == np.max(Spectrum[Low_point : High_point])) # Calculating which frequency has max power.

        return maximumFrequency

voiceVector = []
for window in fullAudio: # Run a window of appropriate length across the audio file
    voiceVector.append (maxFrequency( window, samplingRate))

现在，根据语音的语调，最大电源频率可能会发生变化，您可以将其注册并映射到给定的语调。这可能不一定总是正确的，您可能需要同时监视许多频率的变化，但这应该可以帮助您入门。

Answer 2

2019 年更新，现在有基于神经网络的非常准确的音调跟踪器。他们开箱即用 Python。检查

https://pypi.org/project/crepe/

2015 年的答案。音调检测是一个复杂的问题，最新的 Google 包为这项重要任务提供了高度智能的解决方案：

https://github.com/google/REAPER

如果您想从 Python 访问它，您可以将其包装在 Python 中。

Answer 3

f0（音高）估计基本上有两种类：时域（例如autocorrelation/cross-correlation）和频域（例如通过测量谐波之间的距离来识别基频，或识别频谱中具有最大功率的频率，如上面 Sahil M 的示例所示）。多年来，我成功地使用了 RAPT（Robust Algorithm for Pitch Tracking），它是 REAPER 的前身，也是 David Talkin 的。您提到的广泛使用的 Praat 软件还包括类似 RAPT 的互相关算法选项。描述和代码在网络上很容易获得。此处提供 DEB 安装存档：http://www.phon.ox.ac.uk/releases 使用俯仰函数的模式检测（上升、下降等）是一个单独的问题。 Sahil M 上面关于使用移动 window 跨越音调函数的建议是一个很好的开始方式。

Answer 4

有许多不同的算法来估计音高，但一项研究发现 Praat 的算法是最准确的 [1]。最近，Parselmouth 库使得从 Python [2].

调用 Praat 函数变得容易多了

[1]：Strömbergsson，索非亚。 "Today's Most Frequently Used F0 Estimation Methods, and Their Accuracy in Estimating Male and Female Pitch in Clean Speech." 对话。 2016. https://pdfs.semanticscholar.org/ff04/0316f44eab5c0497cec280bfb1fd0e7c0e85.pdf

[2]: https://github.com/YannickJadoul/Parselmouth

Python 中的音调检测

Pitch detection in Python

python

signal-processing

speech-recognition

speech-to-text

speech