为什么形状索引特征对面部对齐如此有效?
why is shape-indexed-feature so effective on face alignment?
我最近在实现一些人脸对齐算法。我已阅读以下论文:
- Supervised descent method and its applications to face alignment
- Face alignment by explicit shape regression
- Face alignment at 3000 fps via regressing local binary features
所有论文都提到了一个重要的关键字:shape-indexed-feature
或pose-indexed-feature
。此功能在人脸对齐过程中起着关键作用。我没有得到这个功能的关键点。为什么它如此重要?
形状索引特征是一种特征,其索引提供了有关其来源形状的层次结构的一些线索。所以在面部对齐中,面部标志非常重要,因为它们对于成功对齐面部很有用。但是,仅考虑面部标志会丢弃面部固有的一些结构。你知道瞳孔在虹膜里面,虹膜在眼睛里面。因此,形状索引特征不仅仅会告诉您您正在查看面部标志 - 它会告诉您正在查看另一个标志内的另一个标志内的面部标志。因为只有少数几个特征是这样的 3 嵌套,所以您可以更有信心正确对齐它们。
这是一篇更早的论文,用更简单的语言解释了其中的一些内容(尤其是在介绍中):http://www.cs.ubc.ca/~lowe/papers/cvpr97.pdf
If you want get shape-indexed-feature, you should do similarity transform for the face landmarks in one image first. The aim is transform the origin landmarks to a specific location which could be the mean landmark of all images. So the landmarks of each image is at same position.
Then you could extract local features according to the relocate landmarks, which are shape-indexed-feature, cause now the landmarks of each image is a fix shape.
我搜索了几个小时得到上面的答案,graduation thesis并翻译了它,但不确定它是否是正确的答案。在我看来,这是有道理的。
我最近在实现一些人脸对齐算法。我已阅读以下论文:
- Supervised descent method and its applications to face alignment
- Face alignment by explicit shape regression
- Face alignment at 3000 fps via regressing local binary features
所有论文都提到了一个重要的关键字:shape-indexed-feature
或pose-indexed-feature
。此功能在人脸对齐过程中起着关键作用。我没有得到这个功能的关键点。为什么它如此重要?
形状索引特征是一种特征,其索引提供了有关其来源形状的层次结构的一些线索。所以在面部对齐中,面部标志非常重要,因为它们对于成功对齐面部很有用。但是,仅考虑面部标志会丢弃面部固有的一些结构。你知道瞳孔在虹膜里面,虹膜在眼睛里面。因此,形状索引特征不仅仅会告诉您您正在查看面部标志 - 它会告诉您正在查看另一个标志内的另一个标志内的面部标志。因为只有少数几个特征是这样的 3 嵌套,所以您可以更有信心正确对齐它们。
这是一篇更早的论文,用更简单的语言解释了其中的一些内容(尤其是在介绍中):http://www.cs.ubc.ca/~lowe/papers/cvpr97.pdf
If you want get shape-indexed-feature, you should do similarity transform for the face landmarks in one image first. The aim is transform the origin landmarks to a specific location which could be the mean landmark of all images. So the landmarks of each image is at same position.
Then you could extract local features according to the relocate landmarks, which are shape-indexed-feature, cause now the landmarks of each image is a fix shape.
我搜索了几个小时得到上面的答案,graduation thesis并翻译了它,但不确定它是否是正确的答案。在我看来,这是有道理的。