Facenet:使用面部嵌入集的集合

Facenet: Using Ensembles of Face Embedding Sets

Facenet 是一种用于面部识别的深度学习模型。它被训练用于提取特征,即通过称为嵌入的固定长度向量来表示图像。训练后,对于每个给定的图像,我们将倒数第二层的输出作为其特征向量。然后我们可以根据特征和一些距离函数(例如欧几里得距离)来进行验证(判断两张图像是否是同一个人)。

triplet loss是一种损失函数,基本上就是说同一个人的特征向量之间的距离应该小,不同的人之间的距离应该大。

我的问题是,有什么方法可以混合来自不同卷积模型的不同嵌入集吗?例如训练 3 个不同的模型(一个 Resnet 模型、一个 Inception 和一个 VGG)并使用 triplet loss,然后混合 3 128 维嵌入来构建一个新的元嵌入以获得更好的人脸验证精度。如何混合这个嵌入集?

同样的问题和有用的答案here

I think there're different ways to do this, for example 1) concatenate the two embeddings and apply PCA after that 2) normalize each embedding and concatenate them together, so that each model will contribute equally to the final results 3) normalize each feature of each embedding to (0,1) say by Gaussian CDFs and concatenate them together, so that each feature contribute equally to the results.