Face Alignment at 3000 FPS via Regressing Local Binary Features 论文学习

Face Alignment 是指在人脸关键部位上做标点 即landmark。

这论文方法由两个新部分组成：

1.局部二进制特征

2.局部位置为原则

最后还结合了线性回归方法。

由于在抽取二进制特征和回归二进制特征计算优化，比以前方法更快。

在电脑上3000帧每秒，手机上300帧每秒，一张照片标记十几个标记点。

什么叫 The shape regression。

face shape={标记1，标记2，标记3，landmark4,landmark5,...,landmark L};

regression 回归是指随机初始化的标记点回到自己实际位置中。

所以the shape regression 是指 所有的点标记迭代回归到实际位置。

初始标记为s0.S(t)=s(t-1)+delta(st).t是指阶段。

公式一：I指输入图片，s(t-1）是指t-1阶段标记位置， Φ t 是特征映射函数。

什么叫feature mapping function ?

它是指在图片I上的标记s上，用Φ t函数映射出特征。

接下来谈：Φ t 生成问题。

Φ t分为两种分式生成，训练和手工处理。

手工处理的特征 Φ t ，比如SIFT,不要训练直接用。

这对于简单的情况下，效果可以。在特殊情况下， 效果不行。

但以前学习 Φ t 的先进的算法，与手工处理的 Φ t 比如SIFT算法效果一下，作者说由以下原因组成：

1.这些特征 Φ t 学习在全局即整个人脸区域上，想要得到区别特征，要很大计算成本。

2.这样训练产生大量特征信息，而这些特征有很多噪声，这容易造成过拟合，使测试性能不佳。

在论文中，作者用了这些特征 Φ t 学习在局部区域上。这原则建立以下两个观点：

1.在之前阶段估计的landmark标记位置局部周围有更多区别纹理的特征。

 学习Φ t = [φ t1 ,φ t 2 ,...,φ t L ] ，L为标记数

2.在还是在这阶段所以landmark标记局部位置提供更多分辨特征。

所以作者认为要，首先分别在每个标记上训练本能特征来编码特征码。

然后在所有标记上，执行联合回归。

我们使用基于回归的集合树来引出二进制特征。用局部二进制在标记的周围来代表图片标记特征。

再串联所有局部二进制形成特征映射Φ t。最后用估计的所有标记，来区别学习Wt。

这种基于树的局部二进制特征是很稀，特征抽取和回归是非常迅速，使这种方法非常迅速，同时比最先进算法精确高。

由于在智能手机上，对实时性要求很高，在smart iphone上， 300 FPS 。

CLM(Constrained Local Model)顾名思义 有约束的局部模型。

先初始化平均脸中位置，然后在平均脸的特征点林雨位置搜索，完成人脸点的检测。

（1）训练局部二进制特征φ t

我们的方法属于shape regression approach .该回归方法是基于集合树的方法（随机森林）。

π l ◦∆ ˆ S i对应的是在第i个样本上的，l 标记 landmark 2维 ground truth 的偏移。

φ t训练，使用随机森林。

要求Wt， Φ t，使2最小。

上图(b)取标记的局部二进制特征（用随机森林），上图(a)把b串联提供为整个脸特征Φ t.

(b图)在标记点周围，两个像素点为一对，随机抽取4对为一棵树，每一对比较大小，根节点大于选择左子节点，小于选择右子节点，最后到达的叶子节点为1，其它为0。

再组成图上的二进制比如(1000),再依次，抽取n课数，串联组成二进制局部特征。

由于每课树只有一个1，所以组成特征具有稀疏性，降低计算量。

（2）学习训练全局的线性回归Wt

在上一步得到 φt,局部的w tl,

现在训练全局的Wt。

为什么要一个全局训练Wt ？

公式4.第一项是回归项，第二项是对Wt长度约束。由于标记landmark有68个，100K+的特征长度。

如果不L2范数规划化，可能测试出现结果过拟合情况。

由于特征很稀，我们用双坐标下降法，来处理如此的稀疏线性系统。

由于目标函数对Wt是二次函数，所以总能得到全局最优解。

再回答为什么说全局学习对提高性能很重要？

我相信这是由于两个原因

1.由随机森林得到局部特征学习输出有很大噪声。

2.全局训练，是全局约束，能减少局部噪声和遮挡对性能影响。

why the local region?

我们认为样本的∆ s标点偏移分散程度与搜索的半径r成正关系。

训练和测试的时候应该是标点的局部区域半径越来越少，如论文图说的。

重要的问题：读者最关心的问题？怎么训练和测试的，具体步骤是怎样的？

请看下篇文章。