An Analysis of Single-Layer Networks in Unsupervised Feature Learning(精读)

一.文献名字和作者

     An Analysis of Single-Layer Networks in Unsupervised Feature Learning. Adam Coates, Honglak Lee, Andrew Y. Ng

   

二.阅读时间

    2014年11月4日

三.文献的目的

    分析神经网络模型的设置对于效果的影响，主要的设置包括：感受野大小，隐藏层的个数(特征的个数)，特征提取过程中的步长，以及白化处理。

四.文献的贡献点

    文章的共享主要在于对于神经网络的设置进行实验，分析这些设置如何影响网络的结构。

4.1 系统流程

1.特征学习的过程

    特征学习的过程主要有下面三个步骤：

    a.从没标签的样本中随机选择图像块；

    b.对图像块进行预处理；

    c.使用非监督学习算法学习一个特征映射关系。

2.特征提取和分类

    在进行了特征学习之后，就可以用学习到的特征映射关系进行特征提取和分类，主要流程如下：

    a.对输入图像的图像块进行特征提取；

    b.对特征进行pool来减少特征的数目；

    c.使用给定的特征向量训练一个线性分类器。

4.2 特性学习

    从训练图像中随机选择大小为w*w，d通道的图像块，w即为感受野的大小，然后将这个图像块转为一个大小为w*w*d的向量，然后使用这些向量作为训练集，进行预处理和非监督特征学习。

1.预处理

    预处理主要是考察白化过程对于分类正确率的影响。

2.非监督学习

    在非监督学习方面，作者主要对比下面几个非监督学习算法：

    a.Sparse auto-encoder;

    b.Sparse restricted Boltzmann machine；

    c.K-means clustering;

    d.Gaussian mixtures

4.3 特征提取和分类

1.卷积提取过程

    这个过程类似于使用卷积核为w*w*K的卷积过程，不过在卷积的过程中，使用上面学习到的特征提取过程对感受野进行特征提取，这样，对于每一幅图像能够得到一个大小为(n-w+1)*(n-w+1)个K维的特征(n为输入图像的大小)。

2.分类

    由于输入的图像维数比较大，采用将这个区域划分为4个象限，计算每个象限中的特征的和，这样就可以将图像的特征压缩到4K维，然后使用者4K维的特征进行SVM分类。

    

五.使用的数据库

   CIFAR-10， NORB， STL-10

六.实验结果

1.白化和特征个数的影响

    白化对于使用聚类的特征学习效果明显，但是白化对于SAE和RBMs的作用是含糊的，在使用100个特征的时候，白化对于RBMs的作用很明显，但是随着特征数目的增加，白化的作用越来越小。

    随着特征数目的增加，分类正确率都是在提升的。

2.步长的影响

   随着步长的增加，分类正确率在下降。同时，也可以看到，步长为2使用RBM训练的特征提取效果和步长为1的Kmeans聚类的效果相同，但是，使用kmeans进行特征学习比使用RBM简单。

3.感受野的大小

     小的感受野效果比较好。

4.与其他算法的比较

5.在STL-10数据集上面的比较

    从STL-10数据集的效果可以看出，只有有大量有标签的样本时，文章提出的算法才会有好的效果。

版权所有，欢迎转载，转载请注明出处，谢谢