使用 FFT 和多项式插值改变人类语音的旋律

Question

我正在尝试执行以下操作：

提取我提问的旋律（单词“嘿？”记录到 wav）所以我得到了一个旋律模式，我可以应用到任何其他 recorded/synthesized语音（基本上是F0如何随时间变化）。
使用多项式插值（拉格朗日？）所以我得到一个描述旋律的函数（当然是近似值）。
将该函数应用于另一个录制的语音样本。（例如单词“Hey.”所以它被转换为问题“Hey?”，或者将句子的结尾转换为听起来像问题 [例如，“可以吗？”=>“可以吗？”]）。瞧，就是这样。

我做了什么？我在哪里？ 首先，我深入研究了 fft 和信号处理（基础知识）背后的数学原理。我想以编程方式进行，所以我决定使用 python.

我对整个“Hey?”语音样本执行了 fft 并获得了频域数据（请不要介意 y 轴单位，我没有归一化他们）

到目前为止一切顺利。然后我决定将我的信号分成块，以便获得更清晰的频率信息 - 峰值等 - 这是一个盲目拍摄，我试图掌握操纵频率和分析音频数据的想法。然而，它让我无处可去，至少不是我想要的方向。

现在，如果我获取这些峰值，从中得到一个插值函数，并将该函数应用于另一个语音样本（语音样本的一部分，当然也是 ffted）并执行反向 fft I 不会得到我想要的，对吧？我只会改变幅度，这样它就不会影响旋律本身（我认为是这样）。

然后我使用spec and pyin方法从librosa中提取了真正的F0-in-time——询问的旋律问题“嘿？”。正如我们所料，我们可以清楚地看到频率值的增加：

一个非问题陈述看起来像这样 - 假设它更不固定。

这同样适用于更长的语音样本：

现在，我假设我有构建 algorithm/process 的积木，但我仍然不知道如何 assemble 它们，因为我对下面发生的事情的理解有些空白引擎盖。

我认为我需要找到一种方法将 F0-in-time 曲线从频谱图映射到“纯”FFT 数据，从中得到一个插值函数，然后将该函数应用于另一个语音样本。

有什么优雅（不优雅也可以）的方法吗？我需要指向正确的方向，因为我能感觉到我很接近，但我基本上被卡住了。

上述图表背后的代码仅取自 librosa 文档和其他 Whosebug 问题，它只是一个 draft/POC 所以请不要评论样式，如果可以的话:)

fft 块：

import numpy as np
import matplotlib.pyplot as plt
from scipy.io import wavfile
import os

file = os.path.join("dir", "hej_n_nat.wav")
fs, signal = wavfile.read(file)

CHUNK = 1024

afft = np.abs(np.fft.fft(signal[0:CHUNK]))
freqs = np.linspace(0, fs, CHUNK)[0:int(fs / 2)]
spectrogram_chunk = freqs / np.amax(freqs * 1.0)

# Plot spectral analysis
plt.plot(freqs[0:250], afft[0:250])
plt.show()

频谱图：

import librosa.display
import numpy as np
import matplotlib.pyplot as plt
import os

file = os.path.join("/path/to/dir", "hej_n_nat.wav")
y, sr = librosa.load(file, sr=44100)
f0, voiced_flag, voiced_probs = librosa.pyin(y, fmin=librosa.note_to_hz('C2'), fmax=librosa.note_to_hz('C7'))


times = librosa.times_like(f0)

D = librosa.amplitude_to_db(np.abs(librosa.stft(y)), ref=np.max)

fig, ax = plt.subplots()

img = librosa.display.specshow(D, x_axis='time', y_axis='log', ax=ax)

ax.set(title='pYIN fundamental frequency estimation')

fig.colorbar(img, ax=ax, format="%+2.f dB")

ax.plot(times, f0, label='f0', color='cyan', linewidth=2)

ax.legend(loc='upper right')
plt.show()

非常感谢提示、问题和评论。

Answer 1

问题是我不知道如何修改基频（F0）。通过修改它，我的意思是也修改 F0 及其谐波。

有问题的频谱图显示了特定时间点的频率以及特定频率点的功率 (dB)。因为我知道哪个时间段包含旋律中的哪个频率（下面的绿线）......

.....我需要计算一个代表那条绿线的函数，这样我就可以将它应用于其他语音样本。

所以我需要使用一些插值方法，将示例F0功能点作为参数。

需要记住多项式的次数应该等于点的数量。不幸的是，这个例子没有，但是对于原型来说效果还是可以的。

def _get_bin_nr(val, bins):
    the_bin_no = np.nan
    for b in range(0, bins.size - 1):
        if bins[b] <= val < bins[b + 1]:
            the_bin_no = b
        elif val > bins[bins.size - 1]:
            the_bin_no = bins.size - 1
    return the_bin_no

def calculate_pattern_poly_coeff(file_name):
y_source, sr_source = librosa.load(os.path.join(ROOT_DIR, file_name), sr=sr)
f0_source, voiced_flag, voiced_probs = librosa.pyin(y_source, fmin=librosa.note_to_hz('C2'),
                                                    fmax=librosa.note_to_hz('C7'), pad_mode='constant',
                                                    center=True, frame_length=4096, hop_length=512, sr=sr_source)
all_freq_bins = librosa.core.fft_frequencies(sr=sr, n_fft=n_fft)
f0_freq_bins = list(filter(lambda x: np.isfinite(x), map(lambda val: _get_bin_nr(val, all_freq_bins), f0_source)))

return np.polynomial.polynomial.polyfit(np.arange(0, len(f0_freq_bins), 1), f0_freq_bins, 3)

def calculate_pattern_poly_func(coefficients):
    return np.poly1d(coefficients)

方法calculate_pattern_poly_coeff计算多项式系数。

使用 pythons poly1d lib 我可以计算可以修改语音的函数。怎么做？我只需要在某个时间点垂直向上或向下移动所有值。例如，我想将 0.75 秒时间段的所有频率向上移动 3 次 -> 这意味着频率将增加，此时的旋律听起来会更高。

代码：

def transform(sentence_audio_sample, mode=None, show_spectrograms=False, frames_from_end_to_transform=12):
# cutting out silence
y_trimmed, idx = librosa.effects.trim(sentence_audio_sample, top_db=60, frame_length=256, hop_length=64)

stft_original = librosa.stft(y_trimmed, hop_length=hop_length, pad_mode='constant', center=True)

stft_original_roll = stft_original.copy()
rolled = stft_original_roll.copy()

source_frames_count = np.shape(stft_original_roll)[1]
sentence_ending_first_frame = source_frames_count - frames_from_end_to_transform
sentence_len = np.shape(stft_original_roll)[1]

for i in range(sentence_ending_first_frame + 1, sentence_len):
    if mode == 'question':
        by = int(_question_pattern(i) / 500)
    elif mode == 'exclamation':
        by = int(_exclamation_pattern(i) / 500)
    else:
        by = 0
    rolled = _roll_column(rolled, i, by)

transformed_data = librosa.istft(rolled, hop_length=hop_length, center=True)

def _roll_column(two_d_array, 列, 移位): two_d_array[:, 列] = np.roll(two_d_array[:, 列], shift) returntwo_d_array

在这种情况下，我只是简单地向上或向下滚动参考特定时间段的频率。

这需要完善，因为它没有考虑转换样本的实际状态。它只是根据之前使用多项式函数计算机计算的因子滚动它up/down。

您可以在 github 查看我的项目的完整代码，“音频”包包含上述模式计算器和音频转换算法。

如有不明之处欢迎随时提问:)

使用 FFT 和多项式插值改变人类语音的旋律

Change the melody of human speech using FFT and polynomial interpolation

python

signal-processing

fft

linear-interpolation

pitch-detection