读书笔记 How transferable are features in deep neural networks?

摘要：

通过自然图像训练出来的神经网络表现出很多有趣的相似之处：学习到的第一层特征类似于Gabor滤波器和颜色块。第一层特征并不是针对特定数据集，而是针对不同数据集和任务具有通用性。特征从第一层到最后一层会从通用变得特定。

这篇文章通过实验量化了深度卷积网络每一层神经元的通用性与特定性的对比，并且发现了一些有趣的结论。可迁移性受两个独立的因素影响：（1） 高层神经元对原始任务的特定性会影响其对目标任务的表现（the specialization of higher layer neurons to their original task at the expense of performance on the target task, which was expected）（2）为实现分开联合训练神经元网络优化计算困难，这是不希望的。

在ImageNet上训练的样例网络中，证明了任意一个因素都会起到决定作用，这取决于特征迁移是否从底层/中层/高层开始。
证明通过从任意多层迁移特征初始化网络可以提高通用性。

Introduction

神经网络中，第一层的特征跟代价函数和训练数据集无关，称为通用特征，最后一层特征依赖于数据集和任务。例如，对一个N维softmax输出的神经网络，他是专门训练用来目标分类的，最后一层每一个输出单元对应一个类别，称为特定特征。如果第一层特征是通用的，最后一层特征是特定的，那么一定存在一个从通用到特定的转变。由此引发几个思考：
1.是否可以量化层的通用或者特定程度
2.转变是在某一层突然实现的还是在很多层逐渐实现的
3.转变在哪里实现的：是靠近第一层，中间层还是最后一层
如果能回答这几个问题，就能知道神经网络中哪些特征是通用的，这样就可以用来进行迁移学习。
迁移学习中，首先在一个基数据集上根据特定任务训练一个基神经网络，然后改变学习的特征的目的，或者迁移他们，到另一个任务网络，并再新的数据集和任务上训练。如果特征具有通用性，这个过程会起作用，通用性是指特征基任务和目标任务都有效。

通用的迁移学习过程中，首先训练一个基网络，然后讲基网络的前n层拷贝到目标网络的前n层，剩余的层用随机值初始化，并通过目标任务训练。训练时，可以选择将训练误差从新任务反向传播到基特征层，调整他们以适应新的任务，或者讲迁移特征固定住，基特征层不再改变。是否调整前n层取决于目标数据集的大小和前n层网络参数的大小。如果目标数据集很小并且网络参数很大，调整会导致过拟合，需要固定基特征。如果目标数据集很大或者参数很少，就可以通过再目标数据集上训练调整参数来提高效果。当然，如果目标数据集很大，就没有必要进行迁移了，因为底层滤波器可以通过目标数据集学习。

文章贡献：
1.定义了一种量化神经网络层的通用性和特定的方法，也就是神经网络层从一个任务迁移到另一个任务的好坏。
2.发现两个降低迁移性的因素：（1）特征的特定性（2）优化难度….
3.量化了迁移效果随着基任务和目标任务不同下降程度
4.发现底层特征用迁移网络比随机网络好
5.不论用多少层迁移特征初始化网络，根据目标数据调整后都会增加通过表现。< 作者说surprising >

用迁移表现来度量通用性和特定性（Generality Specificity）

为保证数据集相似，将ImageNet中100类数据随机分成两份。一份训练基网络A，另一份训练基网络B。
自迁移网络：用B的前三层固定初始化B，记为B3B；用B的前三层初始化B，训练时进行调整，记为B3B+。
迁移网络：用A的前三层初始化B记为A3B；用A的前三层初始化B，训练时进行调整，记为A3B+。

几个有趣的结论：
1、小数据比大数据错误率低
2、网络中间层优化困难更大
3、目标数据够大时，调优迁移可以提高效果
4、固定迁移中，前两层网络可以保持较好效果。
5、调整迁移可以取得更好的效果，与迁移几层没有直接关系

不相似数据集，将人工构造和自然图像分开

Jarrett et al. (2009)：随机卷积滤波器，矫正，抽取和局部正则化的结合可以取得训练特征的表现，他们再小数据集上做了测试。自然会问，随机滤波的良好表现效果是否对大数据集有效。文章实验表明，随机权重表现不像在小数据集上那么好，从第二层开始效果逐渐下降。

结论：
1、当数据集相似性很低时，可迁移性持续下降，
2、即使用非常不同的数据迁移，也比随机滤波器好很多。

结论de

量化可迁移性
可迁移性两个影响因素：中间层的优化难度和高层的特定性
可迁移界限随着数据集相似性减弱增加
调整之后的初始化迁移特征可以提高特征通用性