DeepID2+人脸识别算法学习

DeepID2+在DeepID2的基础上，继续对网络结构做了修改，同时增加了对卷积圣经网络的分析，发现了几个特征：（1）适度稀疏，及时将神经元二值化之后，认证效果依然很好；（2）选择性，高层神经元对认证对象具有高度敏感性，对于同一个人很多神经元会持续保持激活或者抑制状态；（3）和鲁棒性，对于水平遮挡或者随机块遮挡，具有较高的鲁棒性，及时只剩额头和头发，仍然可以达到88.2%的准确率。

1.网络结构修改

DeepID2+继承了DeepID2的网络结构，并在低层网络添加了监督信号。

如figure2所示，和DeepID2一样，包含四层卷积层，不同的是DeepID2+做了三方面的改进：
（1）每层卷积层增加到128个特征映射，最终产出512维特征（原始160维）；
（2）训练数据集Merge了celebFaces+和WDRef数据集，总共290000副人脸图片，12000个人；
（3）在每个卷积层都增加了监督信息，不仅和第三层第四层的max-pool层连接，还连接了第一层和第二层的max-pool层，通过连接max-pool层的一个512维的全连接实现。
Id：识别信号
Ve：验证信号
FC-n：第几层的max-pooling层

实验中，使用12000个人的290000张图片进行训练，使用2000个人做测试，以及组合贝叶斯的训练。基于FC-n这几层产出的512维的特征向量使用组合贝叶斯进行训练，使用2000个人做训练，最后在LFW的6000组pair中测试。这2000人也用于DeepID2+网络中学习率和训练参数的训练。
实验比对的有：网络中没有添加其它层级监督，只有FN-4层添加了后向传播梯度来训练模型；使用少量的数据，只使用CelebFaces+的数据被使用了；卷积层只使用160维的特征映射。所有卷积网络输入的是一张包含整个人脸的图片，结果如Figure3所示。

DeepID2+使用DeepID2选出的25个patches训练，通过训练组合贝叶斯产出特征，在LFW测试集上准确率平均比DeepID2高2%。

2.适度稀疏和二值化

对于每张图片，大约有半数的神经元是激活态的，对于一个神经元，大约在半数的图片中是激活态的。统计了46594张图片处于FN-4层中的激活态神经元的数目（总数512）以及一个激活态神经元对应的图片数。

左图左表示一个图片中激活态神经元的数量统计直方图
右图表示一个激活态神经元对应的图片数量

从实验中我们证实神经元是否是激活态比知道具体的激活值更重要。通过限差将将神经元的激活与抑制态转化为二值码，在LFW集合上测试认证效果，发现在单一网络或者25个patches网络的结果有96.45%和97.47，和原始效果差别不到1%。这说明神经元的激活与抑制状态已经包含了大部分的区别信息，并且二值码具有存储经济和查询速度快的优点。

3.特征的选择性

一个类或者属性的重要与否取决于神经元状态的激活与抑制，比如一个神经元在遇到George Bush时是激活状态，但是看到Colin Powell就变成抑制状态了。对于每个神经元，通过统计它的直方图可以看出有半数的激活态是0，其它则对应很大的数值，也就是说对于特定的类型，神经元对于某些特征有很强的选择性。

上图是DeepID2+和LBP特征状态和特征分类准确率的比对图。左边一列是目标图片上激活态神经元数目均值和方差，中间一列是其余图片上的均值和方差，最后一列是每个神经元的分类准确率。

4.鲁棒性

对鲁棒性的实验采用两种遮挡，一种是从下向上的遮挡，从10-70%的遮挡；一种是随机块的遮挡，遮挡尺寸从10*10-70*70。

DeepID2+的遮挡实验基于25个DeepID2+的子网络，LBP基于21个关键点提出99120维特征。

在遮挡10%-20%时，LBP的准确率下降很快，DeepID2+的FC-1层和LBP效果差不多，二者为局部特征。DeepID2+的FC-2,FC-3,FC-4在很大一个范围内准确率下降的很慢，及时遮挡有40%，准确率也》=90%，而LBP已经下降到70%，在遮挡50%时，DeepID2+的准确率下降加快。可以得出，层数越高，对于遮挡的鲁棒性越好。
对于n*n遮挡，50*50时，LBP的准确率小于70%，而DeepID2+为89.2%，可以得出，较深的结构对于遮挡更加鲁棒，并且这种鲁棒性是卷积神经网络固有的。

5.结论

通过DeepID2+的实验可以得出，人脸图像具有适度稀疏性、特征选择性和遮挡鲁棒性，并且可以帮助模式识别研究者理解深度学习以及它的网络连接并解决一些问题，比如稀疏表示，属性学习和遮挡处理等。如实验中，提出的二值化神经元网络在人脸识别中更高效且有效。

6.引用文献

Deeply learned face representations are sparse, selective, and robust