centerloss论文学习笔记

资料准备

论文: A Discriminative Feature Learning Approach for Deep Face Recognition
github: Deep Face Recognition with Caffe Implementation

引言

• 传统的分类方法，只关注能够分类（Separable Feature),而忽视了特征的辨别（Discriminative Features），如图所示。
  

• 收集到所有特征拿来训练是不现实的，训练出来的模型要能分类出未在训练集中被标注过的类别

• 训练结果中会存在类内差距（intra-class）比类间差距（inter-class）还大的情况，如图所示。
  

算法介绍

softmax

Wx+b为上一层输出的多维向量，m为mini-batch值，n为类别数，计算后获得一组概率向量，分别代表每一个类的概率。

center loss

center loss的提出，被作为以上三点的一种解决方案。
为了最小化深层特征学习时的类内变化，同时又能分类不同的特征，提出center loss的公式:

其中，cyi表示第yi个类别的深层特征的中心，xi表示全连接层之前的特征，m是mini-bathch的大小，n为类别数。
Lc的梯度和cy的更新计算如下：

结合softmax和centerloss

单纯使用softmax，只注重分类，造成类内距离特别大。
单纯使用centerloss，则深层特征和特征中心则会衰减为0。
提出公式：

参数那么大（/(ㄒoㄒ)/~~）用来平衡两个损失函数。当那么大为零时，就是单纯的softmax

随着nameda的增大，类内距离越来越小。

网络结构

• 论文中提供的网络结构
  
• github提供的基于mnist网络的样例
  
  缩略图
  
  全图

参考文献
* A Discriminative Feature Learning Approach for Deep Face Recognition
* 损失函数改进之Center Loss
* Center Loss - A Discriminative Feature Learning Approach for Deep Face Recognition 论文理解