人脸识别方向论文笔记（1）-- A Light CNN for Deep Face Representation With Noisy Labels

原文地址：https://arxiv.org/pdf/1511.02683.pdf

        这篇论文中，创新点有两个：1.提出了一种新的激活函数Max-Feature-Map（MFM不仅能区分开噪声数据和信息数据，而且在特征选择方面起着重要的作用）2提出了三种网络（两个小网络+一个大网络：Light CNN-4、Light CNN-9、Light CNN-29）。

所做的贡献总结：

  1.提出的MFM能够使用更复杂的关系使得它有刚好的学习能力以及适用于不同的数据

  2.基于MFM的CNN模型可以学习更通用的面部表情信息

  3.通过有引导的预训练可以处理更大规模有噪声的数据

        他说：有噪声的标签当数据规模越来越大的时候，在机器学习成为了一个重要的问题，尽管现在又很多策略，但是仍然是一个不小的深度学习话题。

具体细节：

        1.MFM的相关定义：

         MFM 2/1的等式：

        MFM 3/2的等式：

2.所提出的小网络模型

这里，只列举其中一个小网络，其他网络的见文献       

3.对于传统的所做的改变：

        移除了Batch Normalization，他说，尽管BN可以很有效的加速收敛，但是当minibatch过小或者测试用例与训练用例相关性不大的时候，批处理数据将会变少，于是乎就不需要BN了

        最后用全连接层代替了平均化pooling层，他说，在他们的实验中，输入的图像都是对齐的（aligned），使用平均化pooling层会损坏数据

        4.实验效果对比：