表情识别的研究进展

人类通过视觉、味觉、听觉、嗅觉和触觉五个器官来认识世界。我们把用眼睛观察到的视觉信息叫做图像信息，如人脸的表情信息。一般的表情识别可以用单个感官完成，也可以用多个感官相配合来完成。它是一个整体识别和特征识别共同作用的结果。具体说来，远处辨认人，主要是整体识别，而在近距离面部表情识别中，特征部件识别则更重要。另外，人脸上各部件对识别的贡献也不相同，如眼睛和嘴巴的重要程度大于鼻子。根据对人脑的研究表明，人脸的表情识别和人脸识别虽然存在联系，但总体说是分开、并行的处理过程。
随着人脸的计算机处理技术（包括人脸检测和人脸识别）不断完善，利用计算机进行面部表情分析也就成为可能。总体而言，表情分析是一个非常困难的研究方向，主要体现在表情特征提取的准确性和有效性上。尤其是后者，因为各种表情本身体现在各个特征点运动上的差别就不是很大，例如：嘴巴张开并不代表就是笑，也有可能是哭和惊讶等。以下所讲到的一些方法都是从人脸识别演变而来，结合表情识别的特点而运用。目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。这种情况下要求图像对光照、角度等因素要进行充分的预处理，使获得的灰度值具有归一性。运动特征利用了

不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，方向主要有三个：整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。

整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有：基于特征脸的主分量分析（Principal Component Analysis，PCA）法、独立分量分析法（Independent Component Analysis，ICA）、Fisher线性判别法（Fisher’s Linear Discriminants，FLD）、局部特征分析（Local Feature Analysis，LFA）、Fisher运动法（Fisher Actions）、隐马尔科夫模型法（Hide Markov Model，HMM）和聚类分析法。局部识别法就是将人脸的各个部位在识别时分开，也就是说各个部位的重要性是不一样。比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部表情。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。其中最典型的方法就是脸部运动编码分析法（Facial Actions Code System，FACS）和MPEG-4中的脸部运动参数法。其他的还有局部主分量分析法（Local PCA）、Gabor小波法和神经网络法。形变提取法是根
据人脸在表达各种表情时的各个部位的变形情况来识别的，主要的方法有：主分量分析法（PCA）、Gabor小波、运动模板法（Active Shape Model，ASM）[7]和点分布模型（Point Distribution Model，PDM）法。运动法是根据人脸在表达各种特定的表情时一些特定的特征部位都会作相应的运动这一原理来识别的。在上面提到的6种基本的表中，脸上一些固定的特征点（或部位）的运动方向或趋势是固定的，比如说人在恐惧的时候，眼睛张开的幅度应该比正常时要大，嘴一般是张开的等等，具体情况见表1。典型的识别方法有：光流法（Optical Flow）[8]和MPEG-4中的脸部运动参数法（Face Animation Parameter FAP）。几何特征法是根据人的面部的各个部分的形状和位置（包括嘴、眼睛、眉毛、鼻子）来提取特征矢量，这个特征矢量来代表人脸的几何特征。根据这个特征矢量的不同就可以识别不同的表情。重要的方法是：基于运动单元（AU）的主分量分析法。在容貌特征法中，主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。常用的滤波器是Gabor小波。当然，这三个发展方向不是严格独立，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路,相互联系，相互影响。有很多种方法是介于两者甚至是三者之间。例如说面部运动编码系统法是局部法的一种，同时也是从脸部运动上考虑的等等。所以，接下来的分析将不从这三个方向上去说明，而是直接描述各种主要的算法。