Factors in Finetuning Deep Model for Object Detection with Long-tail Distribution解读

微调已经在很多视觉任务上都有一个state-of-art的performance，比如说追踪，分割，物体检测，动作识别等等。但是不同的微调方法对结果也是不一样的，这篇论文主要探索了物体检测上微调中对performance的影响因素。经验和分析结果都告诉我们有更多样本的类对feature learning的影响是更大的，因此最好是能够把样本分布均匀。提出一种层级的feature learning 方法，在GoogLeNet上进行了微调，在物体检测上有4.7%map的提升。

Introduction

在对物体检测做微调时，作者观察到两个现象。

一是长尾属性。长尾现象意思是小部分的物体类别的样本量很大，但是大部分的类样本量却很小，如下图，

ImageNet Classification数据集还是比较好的，基本上类别的数据量都差不多大，但是在PASCAL VOC和ImageNet Detection数据集上，长尾现象确实很明显的，比如说检测中人的样本数就比别的大；在传统机器学习方法，特征提取和分类是分开的，特征提取不会受到样本数量的影响，但是在深度学习中，特征提取和分类是一体的，学习到的特征对样本少的样本就不好。

二是针对特定类别学习特定的特征表达。现在的检测方法都是直接训练好一个模型，所有的类共享这些参数，也就是说所有类别都是一种单独的特征表达，但是其实不同类别的物体有自己独特的视觉表现，所以如果能够针对特定的类比进行学习，是能够更好的表达这种特定类别的，比如说直接学习哺乳动物的特征，这样的话模型能够学习到身体的表达和耳朵的形状之类的，如图是兔子和松鼠的一些特征；

作者针对不同的类别训练了不同的模型，但是这和model ensemble是不同的，model ensemble是用权重参数把不同的模型聚集得到检测分，但是本文只是通过一个模型得到检测分。

Factors in finetuning for ImageNet object detection

Baseline model

网络：GoogLeNet

数据集：ILSVR2013，ILSVR14

Investigation on freezing the pretrained layer in finetuning

在这个实验中，主要探究微调某些特定层对检测performance的影响；不进行微调和微调所有层map差了7个点，实现结果表明越高层对语义表现越重要，前面的层是在提取一些底层特征，越往后特征越抽象，对performance也越重要，因此在资源有限的情况下，尽量微调越靠后的层。

Investigation on training data preparation

不同的训练集（train13, train14, train13+train14）表现不同；

长尾属性

下图显示在验证集上200个物体类的样本数量，

可以看出来样本数量是长尾分布的，人的数量是最多的（6007），而最少的是仓鼠（16），softmax （cross entropy）loss是

参数的梯度受两个因素的影响；（1）Pn,c对Tn,c的预测值，预测越准确，梯度越小；（2）属于c类别的数量，假设（Pn,c-Tn,c）是差不多的，那么数量多的对梯度影响就更大，但实际检测每个类的重要性是一样的，因此对数量多的类学习出来的特征是好的，但是对于数量小的类，效果很差。

Cascaded hierarchical feature learning for object detection

200个物体类被分成了层级群组。在分组方法中，作者发现视觉相似性在检测准确率当中是最重要的。类a和类b的相似性定义为，

子模型是直接继承父模型的参数进行微调，因为下一层的子层是具有夫层的属性的。