结合卷积神经网络

Question

我正在研究音频分类并使用频谱图和 MFCC 图来训练 CNN 图像分类器。目前，我有两个单独的 ConvNets 在这些特征上训练，给出平均（55-60% 的准确率）。每个模型都有两个单独的权重文件。 现在我想结合这两个模型，即我想从每个音频文件中提取频谱图和 MFCC 并在我已经构建的模型上进行测试并获得更高的准确性。我该怎么做？

Answer 1

组合已训练模型的一种方法是使用通用的全连接层并训练网络。

您可以将这个全连接层放在两个卷积模型的末尾。

因此，输入将进入 ConVModel-1 和 ConvModel-2。您将获得 2 个输出向量。组合这 2 个输出向量（连接、平均等）。现在将这个新形成的向量传递给全连接层。

您现在可以通过两种方式训练该网络 -

1. 仅更新​​ FC 层的权重。
2. 更新 FC 层 + 两个 ConvModels 的权重。