Unsupervised feature learning by augmenting single images

一、主要思想

               当深度学习应用到目标检测的时候，数据增强通常可以增加训练数据量同时不需要增加额外标签的的成本。数据增强可以减少过拟合增加算法的性能。本文主要是验证是否可以把数据增强作为无监督特征学习构架的主要组成部分。实现途径：首先随机采集一些图像块，作为种子图像，然后对每一个种子图像块进行变换，得到一系列图像块，作为虚拟的一类；采用CNN的框架进行训练；最后用训练好的模型在不同的数据库上面进行测试。

二、主要框架

     1、数据获取（增强）

         （1）随机从整张图像中选取{50，32000}张32*32的种子图像块；

         （2）对每一个种子图像块采用不同的平移、尺度、颜色和对比度变化{1,100}张子图像块，作为一类；

         如下图所示：

     2、训练

        （1）训练框架参考A. Krizhevsky的快速模型，并调整支持dropout：两层卷积层（5*5,64个卷积核），一个全连接层（128个神经元）和一个softmax层

        （2）预训练，首先随机挑选100类进行与训练，当训练误差开始下降的时候停止训练。误差下降意味着已经找到了通向一个好的局部最优的方向

     3、测试

         用训练好的模型提取图像的特征，除去softmax， 然后将所有层形成一个三层的金子塔采，用线性SVM训练一个分类器，通过交叉验证的方法选择SVM的参数 。

三、实验

     1、实验结果

      

     2、结果分析

        （1）无监督训练的种类数量的影响

   

           从图中可以看出：随着样本种类的增加，精度逐渐增加，但是到8000类的时候，精度稍微有所减少。可能原因：随着样本种类的增加，重合度越来越大。重合度越来越大带来的一个问题就是分类任务越来越难。

       （2）无监督训练中，每类的样本数量的影响

             从图像可以看出，当每类的样本很少的时候，即使增加类别的数量，精度区别也不是很大。可能的原因：样本数量太少，产生了过拟合，因此在实际的测试中效果不好并且不稳定。在每类样本数量达到一定程度的时候，区别性就显现出来。

四、 总结         

        本篇论文是针对CNN提出来的无监督学习，现在针对CNN的的无监督训练方法还是很少的，因此，只一点非常值得借鉴。