面部特征点定位

从某种意义上讲，面部关键特征点(Landmark)的定位，亦即人脸图像像素之间之间高层语义的对齐，是人脸识别中最核心的问题之一。错误的特征定位会导致提取的人脸描述特征的严重变形，因此，即使是不精确的对齐也会带来识别性能的快速下降（参见论文我们在FG04上发表的相关论文）。所以，我们在这方面进行了很多努力，尝试了众多算法，以期能够准确快速的提取面部的关键特征点（参见下图），我们在这方面的代表性工作简介如下：

  

面部关键特征点(landmarks)

• 基于样本的人脸形状学习算法ESL

任务：

快速高效的面部关键特征点(landmarks)定位。

思路：

通过对人脸图像及其对应的人脸形状之间关系的深入研究，我们发现在图像差和形状差之间存在着一种近似的线性关系——相似的图像体现相似的形状。基于这一结论，我们提出了一个简单有效的基于样本的学习策略来解决人脸对准问题，即：给定对应的人脸形状已经手工标注好的人脸图像学习集，任意给定的新的人脸图像的形状都可以如下得到：估计该图像与学习集中的训练图像之间的相似度，并将同样的相似度用于人脸形状的重构。实验表明，本算法相对于其他传统的特征标定算法具有可比的精度和更快的特征提取速度。详见[ICASSP2003，JOS05]

• 局部纹理约束的主动表观模型LTC-AAM

问题：

ASM采用了简单高效的局部纹理匹配模型（profile），并使用了统计形状约束，但没有明确目标函数。而AAM则使用了形状和纹理二者结合的表观模型，将模型-观测偏差定义为目标函数，采用Analysis-by-synthesis的优化策略来实现最终的特征匹配。

思路：

在对ASM/AAM优缺点进行综合分析的基础上，我们对二者进行集成，提出了一种局部纹理约束的主动表观模型LTC-AAM。该模型的要点包括：（1）继承了ASM的局部纹理匹配模型，并针对面部轮廓点采用了边缘增强的局部纹理匹配模型；（2）在ASM形状调整时引入了AAM中度量当前纹理与模型纹理匹配度的目标函数，从而将ASM形状参数调整规范到了与AAM统一的参数优化框架中；（3）保留了AAM利用当前纹理预测表观模型参数变化的启发式参数优化过程。这些特点使得LTC-AAM融合了ASM局部搜索模型、AAM纹理约束以及启发式的参数优化过程，从而在较大程度上继承了二者的优势。与ASM，AAM相比LTC-AAM能够更快速、更精确的定位面部关键特征点。参见[ISMIS2003，博士论文]

• 对ASM的其它改进

问题:

ASM对所有的特征点采用了同样的局部纹理模型(profile)进行建模，但Profile模型过于简单，往往不能很好的定位一些尤其重要的关键点。

思路：

针对ASM局部搜索模型过于简单的问题，我们认为可以考虑更精确、更复杂的替代算法，至少可以针对一些尤其关键的特征点（比如眼中心）采用更为复杂的算法，以期能够更加精确的定位这些特征点，我们考虑了一下两种改进：（1）对于轮廓点，采用了边缘增强的技术来增强Profile匹配的精度，以使其尽快匹配到通常具有更强的边缘的轮廓点上[参见ICMI2002]；（2）对于关键特征点，采用了弹性图匹配策略进行准确定位[参见ICBA2004]；（3）对于关键特征点，采用了AdaBoost进行定位。另外，我们还考虑了部分特征点定位信度过低时，如何用统计形状模型进行更加有效的修正策略[参见IWBRS2005]。

• 基于AdaBoost学习策略的特征定位

问题：

眼睛、鼻子和嘴巴是最为关键的面部特征，尤其是眼睛，现有的多数系统均采用眼睛进行特征对齐，对其进行快速准确的定位尤为重要，因此有必要采用较为复杂但却能够保证精度的算法来定位它们。

思路：

借鉴基于AdaBoost的人脸检测方法的成功经验，我们尝试采用了基于AdaBoost的眼睛定位算法，并取得了良好的效果。该部分的工作可参见文章IWBRS2005。