根据注释文件为音频片段生成 mfcc
generate mfcc's for audio segments based on annotated file
我的主要目标是将 mfcc 特征提供给 ANN。
但是我卡在了数据预处理步骤，我的问题分为两部分。
背景：
我有一个音频。
我有一个 txt 文件，其中包含这样的注释和时间戳：
0.0 2.5 Music
2.5 6.05 silence
6.05 8.34 notmusic
8.34 12.0 silence
12.0 15.5 music
我知道对于单个音频文件，我可以像这样使用 librosa 计算 mfcc :
import librosa
y, sr = librosa.load('abcd.wav')
mfcc=librosa.feature.mfcc(y=y, sr=sr)
第 1 部分：我无法理解两件事：
如何根据注释中的段计算 mfcc。
第 2 部分：如何最好地存储这些 mfcc，以便将它们传递给 keras DNN。也就是说，每个音频段计算的所有 mfcc 是否应该保存到单个 list/dictionary。或者最好将它们保存到不同的词典中，以便属于一个标签的所有 mfcc 都在一个地方。
我是音频处理的新手，python 所以，我愿意接受有关最佳实践的建议。
非常乐意提供更多详细信息。
谢谢。
第 1 部分：MFCC 到标记转换
从 librosa 文档中看并不明显，但我相信 mfcc 的计算帧速率约为 23 毫秒。使用上面的代码 mfcc.shape 将 return (20, x) 其中 20 是特征数，x 对应于 x 帧数。 mfcc 的默认 hop_rate 是 512 个样本，这意味着每个 mfcc 样本跨度约为 23mS (512/sr)。
使用它您可以计算文本文件中哪个帧与哪个标签对应。例如，标签 Music 从 0.0 到 2.5 秒，因此 mfcc 帧 0 到 2.5*sr/512 ~= 108。它们不会完全相等，因此您需要对值进行四舍五入。
第 2A 部分：DNN 数据格式
对于输入（mfcc 数据），您需要了解输入的内容。您将拥有 20 个特征，但您是想将单个帧输入到您的网络中，还是要提交时间序列。你的 mfcc 数据已经是一个 numpy 数组，但是它的格式为（特征，样本）。您可能想要反转 Keras 的输入。您可以使用 numpy.reshape 来做到这一点。
对于输出，您需要为文本文件中的每个标签分配一个数值。通常，您会将 tag to integer 存储在字典中。然后，这将用于为网络创建训练输出。每个输入样本应该有一个输出整数。
第 2B 部分：保存数据
执行此操作的最简单方法是使用 pickle 保存并稍后重新加载。我喜欢使用 class 来封装输入、输出和字典数据，但您可以选择适合您的方式。
我的主要目标是将 mfcc 特征提供给 ANN。
但是我卡在了数据预处理步骤，我的问题分为两部分。
背景：
我有一个音频。
我有一个 txt 文件，其中包含这样的注释和时间戳：
0.0 2.5 Music
2.5 6.05 silence
6.05 8.34 notmusic
8.34 12.0 silence
12.0 15.5 music
我知道对于单个音频文件，我可以像这样使用 librosa 计算 mfcc :
import librosa
y, sr = librosa.load('abcd.wav')
mfcc=librosa.feature.mfcc(y=y, sr=sr)
第 1 部分：我无法理解两件事：
如何根据注释中的段计算 mfcc。
第 2 部分：如何最好地存储这些 mfcc，以便将它们传递给 keras DNN。也就是说，每个音频段计算的所有 mfcc 是否应该保存到单个 list/dictionary。或者最好将它们保存到不同的词典中，以便属于一个标签的所有 mfcc 都在一个地方。
我是音频处理的新手，python 所以，我愿意接受有关最佳实践的建议。
非常乐意提供更多详细信息。 谢谢。
第 1 部分：MFCC 到标记转换
从 librosa 文档中看并不明显，但我相信 mfcc 的计算帧速率约为 23 毫秒。使用上面的代码 mfcc.shape 将 return (20, x) 其中 20 是特征数，x 对应于 x 帧数。 mfcc 的默认 hop_rate 是 512 个样本，这意味着每个 mfcc 样本跨度约为 23mS (512/sr)。
使用它您可以计算文本文件中哪个帧与哪个标签对应。例如，标签 Music 从 0.0 到 2.5 秒，因此 mfcc 帧 0 到 2.5*sr/512 ~= 108。它们不会完全相等，因此您需要对值进行四舍五入。
第 2A 部分：DNN 数据格式
对于输入（mfcc 数据），您需要了解输入的内容。您将拥有 20 个特征，但您是想将单个帧输入到您的网络中，还是要提交时间序列。你的 mfcc 数据已经是一个 numpy 数组，但是它的格式为（特征，样本）。您可能想要反转 Keras 的输入。您可以使用 numpy.reshape 来做到这一点。
对于输出，您需要为文本文件中的每个标签分配一个数值。通常，您会将 tag to integer 存储在字典中。然后，这将用于为网络创建训练输出。每个输入样本应该有一个输出整数。
第 2B 部分：保存数据
执行此操作的最简单方法是使用 pickle 保存并稍后重新加载。我喜欢使用 class 来封装输入、输出和字典数据，但您可以选择适合您的方式。