zz基于形状无关纹理和Boosting 学习的人

基于形状无关纹理和Boosting 学习的人
口统计学分类1
摘要：基于形状无关纹理和boosting 学习，提出了对性别和年龄分类的方法，其中年龄被划分为
儿童、青年、中年和老年四类。检测到人脸后，本文利用人脸配准的结果规范化人脸图像获取
形状无关纹理。在此基础上提取Haar 型特征、LBP 直方图和Gabor Jet 三种特征，通过boosting
学习分别训练分类器。实验表明，LBP 直方图特征能够鲁棒地区分儿童和老人，Haar 型特征用
作区分青年和中年人则更为有效，而Gabor Jet 特征更适于性别分类。
关键字： 人口统计学分类 boosting 人脸图像处理
中图法分类号：TP391
Demographical classification by shape free texture and boosting
learning
Abstract In this paper, a gender and age classification method, in which age is classified into four
classes: child, youth, midlife and agedness, based on shape free texture and boosting learning is
introduced. After a face is detected, face alignment extracts 88 facial landmarks by which the face
image is normalized to a shape free texture. Further more, three kinds of local feature, Haar like feature,
LBP histogram and Gabor jet are extracted from the shape free texture; and boosting learning method
is used for training classifiers. Through experiment it is shown that, LBP histogram can be used for
robust recognition of children and old people, Haar like feature is more efficient for discriminating
young and middle aged people, and Gabor Jet fits for gender classification best.
Keywords: demographical classification, boosting, face image processing
1基金项目：国家自然科学基金重点项目(60332010)
1.引言
人脸本身具有丰富的生物特征信息，比如身份、性别、年龄、种族等，而且人脸信息的
获取并不需要当事人的刻意配合；因此基于人脸图像的信息处理在人机交互和视觉监控等领
域具有广泛的应用前景。人口统计学分类是指性别、年龄、种族、身高、体重等类别分类，
本文中是指基于人脸图像的性别、年龄分类。近年来，人脸检测和人脸配准取得了长足的进
步，这使自动地提取人脸图像中的生物特征信息成为可能；本文利用人脸配准的结果规范化
人脸图像获取形状无关纹理，在此基础上对性别和年龄分类，其中年龄被划分为儿童、青年、
中年和老年四类。
人脸图像处理方面的研究主要分为两种方法：第一种方法提取人脸的局部器官特征，如
眼睛、鼻子、嘴等部分的纹理，并结合这些特征之间的几何位置关系进行研究，比较有代表
性的工作包括[1][2][3]; 另一种方法是提取人脸的全局特征，例如PCA 子空间特征，并在特
征子空间中进行研究，如[4][5]。由于人脸在不同年龄状态下仍然具有较强的相似性，因此
在对年龄估计时需要尽量避免身份特征对年龄估计可能造成的影响。Laninis 等人[5]提出了
基于特定人的年龄估计函数，从而减少身份特征对年龄估计的影响。Young[3] 等人根据限
定区域内的皱纹分析来估计年龄，从特征的角度减少年龄无关因素的影响。性别分类相对于
年龄分类更简单，不仅因为性别分类是单纯的二分类问题，而且因为身份特征对性别分类还
具有一定的辅助作用：相貌相似的人也往往具有相同的性别。性别分类方面的研究工作有：
Moghaddam 等人[6]基于 RBF-kernel SVM 的性别分类方法，Shakhnarovich 等人[7]基于
AdaBoost 的性别分类方法；Wu 等人[8]基于LUT AdaBoost 的实时性别分类方法，这些研究
并没有限定具体人种，属于可行性一般方法研究。本文的目标是亚洲人种的性别和年龄分类，
目标是可用于诸如大规模人脸库或人脸图片库检索粗筛选以及商品销售对象统计调查等应
用，是直接面向潜在应用的研究。为了与本文所提的方法对比，我们实现了这些方法。
本文利用聚类来体现身份特征对于性别和年龄分类问题的不同作用：在性别分类过程
中，首先对男性和女性样本分别聚类，利用身份特征把男性和女性样本分别划分为若干类内
聚集紧密的子类；聚类后两类样本在如3.3 节中所述的距离子空间中的区分性更强。在年龄
分类过程中，对所有年龄的样本一起聚类并在每个子类中分别训练年龄分类函数；每个子类
中人脸具有较强的相似性因此年龄分类函数会更关注身份无关特征。本文在形状无关纹理中
抽取Haar 型特征、LBP 直方图和Gabor Jet 三种特征并结合连续AdaBoost 学习方法分别训
练分类器。其中Haar 型特征和LBP 直方图特征被用作年龄分类，而全部三种特征都被用作
性别分类。在大数据集合上的实验表明，本文的方法性能优于以往方法，具有明显的应用价
值。
本文相对于前人工作的贡献在于：1、利用人脸配准的结果规范化人脸纹理，从而自动
提取人脸信息；2、考虑了人脸图像中包含的多种特征，并通过聚类方法使身份特征对性别
和年龄的分类提供不同的辅助作用；3、提出树状结构年龄分类器；4、使用了三种特征提取
人脸信息，并挑选最佳特征用作自动的性别和年龄分类系统。
2.自动的人脸性别和年龄分类系统
自动的人脸性别和年龄分类系统主要包括人脸检测、人脸配准、纹理规范化、性别分类
和年龄分类5 个模块，如图1 所示。首先，人脸检测模块从人脸图像中检测到人脸的位置及
其大小，人脸配准模块进一步检测到脸部88 个特征点，包括眼、鼻、口、眉的轮廓以及人
脸的外轮廓，如图3 所示。与人脸检测的结果相比，人脸配准提供了更精细的人脸形状和位
置信息。利用88 个特征点对人脸三角剖分后，纹理规范化模块把人脸纹理warp 到平均形状
上获得形状无关纹理，这样可以在很大程度上抵消形状和姿态变化对人脸纹理的影响。最后，
分类模块分别对性别和年龄分类。其中性别分类把人脸划分为男性、女性两类；而年龄分类
把人脸划分为儿童、青年、中年、老年四类。
本文使用Huang 等人[9]的人脸检测模块和Zhang 等人[10]的人脸配准模块。纹理规范
化模块在以前的文章中已经有过介绍[11]。而性别分类和年龄分类两个模块是本文讨论的重
点。
分类模块在形状无关纹理中抽取若干局部特征，并在每个局部特征对应的特征空间中构
造一个弱分类器，最后综合所有弱分类器的输出得到分类结果。本文尝试使用三种局部特征，
即Haar 型特征、LBP 直方图和Gabor Jet 特征，并利用连续AdaBoost 方法训练分类器。其
中Haar 型特征和LBP 直方图特征被用作训练年龄分类器，而性别分类器则利用全部三种特
征分别训练得到。虽然性别和年龄分类都用到LBP 直方图特征，但是其用法存在较大差异，
第三节给出了详细的介绍。
Face Detection
Face Alignment
Texture
Normalization
图1. 自动的人脸性别和年龄分类系统
3.基于boosting 学习的性别和年龄分类
人脸能够体现人的身份、年龄、性别、种族等信息，而人脸纹理也可以看作是这些信息
综合作用的结果。身份特征作为人脸最显著的特征，对其他脸部特征都有一定的影响。就本
文研究的问题而言，身份特征与性别特征相符，与年龄特征却缺乏一致性。本文在形状无关
纹理中抽取Haar 型特征[12]、LBP 直方图[13]和Gabor Jet 特征[16]并通过boosting 学习分别
训练分类器。在训练过程中，本文使用聚类和距离子空间的方法来实现身份特征在性别和年
龄分类中的不同作用，并采用树状分类器来提高年龄分类的效率。
3.1 基于LBP 直方图特征以及基于距离子空间的弱分类器
LBP（Local Binary Pattern） [13]是一种计算简单，同时对光照变化并不十分敏感的特
征。如图2（a）所示，LBP 算子利用当前像素阈值化其邻域内的8 个像素，并利用二进制
编码表示阈值化结果。图2（b）中，改进的LBP 算子[14]拓展了邻域的概念，可以在任意
尺度上衡量中心像素gc的邻域特征，记作P,R LBP 。
12 18 24
15 30 27
28 32 45
0 0 0
0 0
0 1 1
Thresholding
Binary: 00001100
(a) (b)
gc g0
g1
g2
g3
gc g0
g1
g g2 3
g4
g5
g6
g7
g9 g10 g8
g11
图2 LBP 算子：（a）基本的LBP 算子，（b）改进的LBP 算子
连续2 位之间0/1 或1/0 的位变换次数不多于2 次的P,R LBP 编码称作uniform2 编码，
记作2
,
u
P R LBP 。大约87.2%的8,1 LBP 编码和70.7%的16,2 LBP 编码属于2
,
u
P R LBP [14]，因此在实
际应用中认为不同的uniform2 编码分别代表不同种类的特征，而所有非uniform2 编码属于
同一类特征。在给定纹理区域内，利用直方图统计所有像素P,R LBP 特征的种类，可以反映
该区域的纹理特点，如式（1）所示
,
{ ( , ) }, 0,1, , 1 i l
x y
H =ΣI f x y == i i = … n − (1)
其中
1,
{ }
0,
A is ture
I A
A is false
⎧
=⎨⎩
，n是P,R LBP 输出结果的种类。
通常有三种方法用来度量直方图之间的距离，Histogram intersection [15], chi-square 距
离[15]和log likelihood 比率[15]。给定两个直方图S 和M ：
Histogram intersection 可以写作
( , ) min( , ) i i
i
D S M =Σ S M (2)
Chi-square 距离可以写作
2
2 ( , ) ( i i )
i i i
S M S M
S M
χ
−
=
+ Σ (3)
Log likelihood 比率可以写作
( , ) 2 log i
i
i i
G S M S S
M
= Σ (4)
本文使用2
8,2
LBPu 编码（n = 59），并利用chi-square距离来度量直方图之间的差异。
3.2 Gabor Jet 特征
Gabor Jet 特征比LBP 直方图特征能更加细致地刻画局部纹理特征，当然计算也更加复
杂。每个Gabor Jet 可以看作给定纹理与一组Gabor 小波核函数卷积的结果，即
2 2 2
2
2 2 ( ) exp( ) exp( ) exp( )
k 2 2
k k x
x ik x
δ
ψ
δ δ
⋅ ⎡ ⎤
= ⋅ − ⋅ ⎢ ⋅ − − ⎥
⎣ ⎦

(5)
其中x = (x, y)表示纹理的中心位置，k

为Gabor 核函数，δ =π 。公式（5）中的Gauss 函
数
2 2
2 exp( )
2
k x
δ
−
i
通过加窗的方式限制振荡函数exp(ik x)
i 的范围，使其只在局部有效。
为了提高计算效率，通常在卷积中使用离散Gabor 小波向量替代Gabor 核函数：
i d ,
s k = k eφ

(6)
其中max
max , , 2, 0,1, ,4
2 s s
k
k k f s
f
π
= = = = … ， , 0,1, ,7
8 d
d d
π
φ = = … 。
在64×64大小的纹理中， Gabor Jet 的最大和最小带宽分别为8 和2 个像素，而8 个
不同方向则使Gabor Jet 能够完整地表现其邻域内的纹理信息。由于人脸配准特征点之间的
间距一般为3~6 个像素，因此在每个特征点处抽取Gabor Jet 特征可以覆盖所有人脸器官区
域的纹理。
3.3 聚类和距离子空间
为了有效地利用LBP 直方图和Gabor Jet 特征，本文提出聚类和距离子空间的做法。首
先通过C 均值聚类使相似的样本聚集（本文的聚类数目为6），再根据样本到正例和反例中
心的距离构造距离子空间并进一步构造弱分类器。由于身份特征对性别和年龄分类的辅助效
果不同，本文通过不同的聚类策略来体现其不同作用。
在处理性别分类问题时，需要考虑人脸的身份特征与性别特征相辅相承的关系。因此在
构造弱分类器的过程中，首先分别聚类两类样本，正例样本的聚类中心为 1 2 6 {m+ ,m+ , ,m+} …
反例样本的聚类中心为1 2 6 {m− ,m− , ,m−} … 。分别计算样本到最近的正例和反例聚类中心的距
离D+ (x) 和D− (x) ：
( ) min( ( , )) i D+ x = D x m+ (7)
( ) min( ( , )) i D− x = D x m− (8)
在D+ (x) 和D− (x) 构成的距离子空间中，利用FLD 函数得到最佳的投影方向并构造分类器：
f (x) = wT x − b (9)
其中w 为最大化类内与类间协方差比率的投影方向，b 为选定的分界阈值点。
在处理年龄二分类问题时，对所有样本聚类，使不同年龄但相貌相似的人脸聚集在一起。
在每个子类中，分别计算两类中心m+ 和m− ，以及子类中样本x 距离两类中心的距离从而
构成距离子空间。在每个子类对应的距离子空间中，同样利用如式（9）FLD 构造分类器。
性别和年龄分类采用不同的聚类策略。性别分类是对男性和女性两类样本分别聚类，每
个子类中的样本不但具有相同的性别而且人脸也都比较相似，因此子类中样本在聚类后具有
更强的聚集特性，也具有更强的可区分性。年龄分类是对所有样本聚类，每个子类中的人脸
都比较相似但是具有不同的年龄，因此单个子类中样本的差异主要取决于年龄的因素，从而
突出了年龄特征在分类函数中的作用。
3.4 局部纹理区域
皱纹是年龄分类最重要的信息，但是在分析过程中它容易与痘、伤疤和色斑等面部特征
混淆。如何从人脸中稳定地提取皱纹信息是人们关注的重点。Young 等人[3]根据眼、口、鼻
的位置限定如图3（最左侧的子图）所示的七块皱纹区域，并通过分析区域内的皱纹信息来
估计年龄。在限定的皱纹区域内，皱纹主要取决于年龄因素同时受其他面部特征的影响也比
较小，因此能够鲁棒地用做年龄估计。
本文利用人脸配准的结果将人脸映射到平均形状上并确定六块局部纹理区域用作皱纹
分析，如图3（最右侧的子图）所示。局部纹理区域的位置由人脸配准的特征点及其插值结
果确定，因此比Young 等人[3]的作法更稳定。需要说明的是虽然额头部分的纹理是人脸年
龄信息的重要体现，但是由于容易被头发遮挡，因此本文并未采用。
图3 局部纹理区域
3.5 基于连续AdaBoost 构造分类器
本文根据Haar 型特征和LBP 直方图特征，并利用连续AdaBoost 算法构造年龄和性别
分类器。并在此基础上把Gabor Jet 特征用作性别分类。
在对不同年龄样本的简单分析中发现，儿童样本与其他样本的区分性最强，其次是老年，
青年和中年之间的区分性最小，所以我们选择如图5 所示的二叉树状的分类器。其中每个分
支都是二分类器：首先区分儿童与成年人，其次是老年与中青年，最后是青年与中年。树形
结构分类器由易到难地处理多类年龄分类问题，不但可以提高分类的可靠性，而且也能够提
高分类的效率。
All samples
Child Youth Midlife Agedness
Adult
Youth & Mid
图5 年龄分类的二叉树状分类器
树状分类器中每个节点都采用如图6 所示的连续AdaBoost 算法搜索弱特征并构造分类
器；训练过程采用Haar 型特征和LBP 直方图特征，并利用3.2 节中所述的FLD 弱特征函数。
性别分类作为单纯的二分类问题，同样采用连续AdaBoost 算法，只是弱分类器不同。
给定训练样本集合S = {(x1, y1 ), ..., (xm , ym )} ,弱分类器空间F ，其中xi ∈ Rn为直方图，
yi = ±1为类别标签，m为样本总数。初始化样本概率分布，D1 (i) = 1 / m, i = 1, ..., m。
For t=1,...,T （T 为选择弱分类器的个数）
1. 根据分布t D 更新弱分类器空间F
2. 在分布t D 下挑选若分类器t f ，使得
1 ( ) ( ) m
t i t i t i r Diyf =
= Σ x 最大化
3. 令
1 1
ln
2 1
t
t
t
r
r
α
+
=
−
⎛ ⎞
⎜ ⎟
⎝ ⎠
4. 更新样本概率分布
( )
1
( )exp ( )
( ) t t i t i
t
t
D i y f
D i
Z
α
+
−
=
x
，其中Zt 是归一化因子。
最终的强分类器为：
1
( ) sign ( )
T
t t
t
H α f
=
= ⎛ ⎞
⎜ ⎟
⎝ ⎠ x Σ x ，
其置信度为：
( )
( ) t t
F
t
f
Conf
α
α
= Σ
Σ
x
x 。
图6 基于FLD 的连续AdaBoost 算法
4.实验结果和分析
实验用到的数据由9000 张证件照图像组成，其中样本按照年龄和性别的分布如表1 所
示，需要说明的是儿童在实验中并未用作性别分类。首先利用人脸检测器[9]检出人脸，再
利用人脸配准[10]获得88 个人脸特征点，最后把人脸warp 到平均形状上得到形状无关纹理，
如图3 所示。
表1 年龄和性别的样本分布
类别 儿童 青年 中年 老年 女性 男性
样本数量 577 2249 4977 1197 3737 4696
4.1 年龄分类的实验结果
本文把Haar 型特征和LBP 直方图特征用作年龄分类，并利用五分法训练和测试，即选
取80%样本用与训练，剩余20%样本用于测试，其结果如表2 所示。在识别儿童和老人时，
纹理的边缘信息起了主要作用，因此LBP 直方图特征的分类结果更好；在区分青年人和中
年人时，二者反映在边缘信息上的差别并不是非常明显，因此Haar 型特征的分类结果更好。
此外，在区分老人和中青年人时，使用局部纹理比使用全局纹理的作法收到的效果更好，这
是由于局部纹理可以避免青春痘和斑等脸部特征在抽取LBP 直方图特征时造成的影响。
表2 年龄分类的正确率
类别 儿童 青年 中年 老年
分类正确率（Haar 型特征） 96.7% 91.2% 92.5% 87.3%
分类正确率（全局纹理） 99.1% 88.4% 87.1% 93.2%
分类正确率（局部纹理） 99.1% 90.3% 90.1% 93.6%
图6 给出了在全局纹理和局部纹理中，根据LBP 直方图特征训练老年人分类器的误差
曲线。局部纹理的方法在迭代过程中更容易收敛，这主要是由于局部纹理能够避免年龄无关
信息的影响。同时这也说明，本文所定义的局部纹理区域已经包含了足够的年龄分类信息。
图6 老年人分类器的训练错误曲线
由此可见，LBP 直方图比Haar 型特征能更好地表达边缘信息，但是当两类样本具有类
似的边缘特征时，LBP 直方图特征的分类效果就会降低，而且LBP 直方图特征也更容易受
到微小纹理变化的影响。本文综合三种作法的特点，利用局部纹理的LBP 直方图特征训练
儿童和老人的分类器，并利用Haar 型特征区分青年人和中年人，在包含不同年龄的测试集
合上的分类正确率为93.2%。
4.2 性别分类的实验结果
本文利用LBP 直方图特征训练性别分类器，boosting 学习得到的前20 个弱特征主要分
布在人脸器官附近，如图7 所示。这说明性别分类信息主要分布在人脸器官及其邻域内，因
此我们尝试使用更精细的Gabor Jet 特征，在人脸内部器官轮廓上的68 个特征点位置抽取
Gabor Jet 特征，等效于在人脸器官及其邻域内搜索特征。由于Gabor Jet 特征描述纹理信息
更加充分，其迭代收敛速度相比LBP 直方图特征的收敛速度更快，如同8 所示。
88 facial landmarks
Distribution of pre-20
weak features
图7 性别分类LBP 直方图弱特征分布
图8 LBP 直方图和Gabor Jet 的迭代收敛比较
本文实现了RBF-kernel SVM 的性别分类方法[7]并用Wu 等人[8]的方法作对比实验，其
结果如表3 所示。本文使用Haar 型特征训练年龄分类器与Wu 等人[8]使用相同的特征和训
练方法，不同在于Wu 使用眼睛和嘴三点的位置规范化人脸位置。实验证明，使用形状无关
纹理取得了更好的实验结果。通过比较不同方法的结果，基于Gabor Jet 的方法取得了最好
的结果，说明在人脸器官轮廓点处抽取Gabor Jet 特征能够有效地刻画人脸性别信息。
表3 不同性别分类方法正确率比较
男性 女性 整体
SVM 95.9% 97.9% 96.8%
AdaBoost (Wu [8]) 94% 96.7% 95.1%
AdaBoost (Haar) 96.2% 97.7% 96.8%
AdaBoost (LBP) 93.6% 95.4% 94.4%
AdaBoost (Gabor Jet) 97.8% 98.1% 97.9%
4.3 自动的性别和年龄分类
本文利用Haar 型特征和LBP 直方图特征构造年龄分类模块，并根据Gabor Jet 特征构
造性别分类模块，结合人脸检测、人脸配准和纹理规范化三个模块组成自动的性别和年龄分
类系统，图9 给出一些性别和年龄分类的结果。在PentiumIV 2.4G 的台式机上，处理一张
456×604的证件照分类耗时大约360ms，其中性别和年龄分类模块耗时大约20ms。
图9 性别和年龄分类结果
5.结论
人脸统计学分类是一个具有很高实际应用价值同时也是比较复杂的问题。本文尝试利用
人脸检测和人脸配准作为初始化把人脸规范化为形状无关纹理，并结合boosting 学习训练年
龄和性别的分类器。
本文利用LBP 直方图特征识别儿童和老人，Haar 型特征区分青年和中年人，并利用树
状分类器由简到难地分类年龄；并在人脸器官轮廓处抽取Gabor Jet 特征用做性别分类。实
验表明，本文提出的性别和年龄分类的方法非常有效，此外利用三角剖分和warping 可以有
效地规范化人脸纹理，同时聚类和距离子空间的方法也可以在性别和年龄分类过程中充分发
挥人脸身份特征的作用。
参考文献
[1] I .Craw, D. Tock and A. Bennett, “Finding face features”, Proc. ECCV, Santa Margherita Ligure, Italy ,1992:
92-96
[2] A. L. Yuille, P. W. Hallinan and D. S. Cohen, “Feature extraction from faces using deformable templates”,
IJCV,1992,8(2), 99-111
[3] Young Ho Kwon and Niels da Vitoria Lobo, “Age classification from Facial Images”, Proc. CVPR, Seattle.
Washington, USA, 1994: 762-767
[4] M. A. Turk and A. P. Pentland, “Face recognition using eigenfaces”, Proc. CVPR, Hawaii, USA, 1992:
586-591
[5] A. Lanitis, C.J. Taylor, and T. F. Cootes, “Modeling the process of ageing in face images”, Proc. ICCV,
Kerkyra, Greece , 1999: 131-136
[6] B. Moghaddam and M. H. Yang. “Gender Classification with Support Vector Machines”, PAMI, 2002, 24(5),
707-711
[7] G. Shakhnarovich, P. Viola and B. Moghaddam, “A Unified Learning Framework for Real Time Face
Detection and Classification”, AFG, Washington, USA, 2002: 16-26.
[8] Bo Wu, Haizhou Ai, Chang Huang, “LUT-Based Adaboost for Gender Classification”, AVBPA, Guildford,
2003: 104-110
[9] Chang Huang, Haizhou Ai, et.al, “Boosting Nested Cascade Detector for Multi-View Face Detection”, ICPR,
Cambridge, UK,2004: 23-26
[10] Li Zhang, Haizhou Ai, et.al, “Robust Face Alignment Based on Local Texture Classifiers”, ICIP, Genoa,
Italy, September 11-14, 2005:354-357
[11] Zhiguang YANG, Ming LII, Haizhou AI, “An Experimental Study on Automatic Face Gender Classification”,
ICPR, Hong Kong, China, 2006: (to appear)
[12] P. Viola, and M. Jones, “Rapid object detection using a boosted cascade of simple features”, CVPR, Kauai,
Hawaii, USA, 2001. 511~518
[13] T. Ojala, M. Pietikainen, D. Harwood, “A comparative study of texture measures with classification based on
feature distribution”, Pattern Recognition, 1996, 29(1), 51-59
[14] T. Ojala, M. Pietikainen, M. Maenpaa, “Multiresolution gray-scale and rotation invariant texture classification
with local binary patterns”, PAMI, 2002, 24(7): 971-987
[15] T. Ahonen, A. Hadid and A. Pietikainen, “Face recognition with local binary patterns”, ECCV, Prague, Czech,
2004: 469-481
[16] Laurenz Wiskott, Jean-Marc Fellous, Norbert Kruger and Christoph von der Malsburg, “Face recognition by
elastic bunch graph matching”, PAMI, 1997, 19(7): 775-779
[17] Bo WU, Haizhou AI, Chang HUANG, Shihong LAO, “Fast Rotation Invariant Multi-View Face Detection
Based on Real Adaboost”, AFG, Seoul, Korea, 2004: 79-84