从自我学习到深层网络

通过神经网络得出特征，然后通过传统方法分类。特征是重点！

1、通过大量无标注数据、神经网络算法，训练出好的特征->得到W1 b1 W2 b2

目的：数据规模，严重影响分类的准确性，而手动标注和特征选取是非常复杂的工作。故想到利用无标注的海量数据，获得更好的准确性。

对于无标注数据，通过自编码器方式，训练特征模型。可以从x中提取出最优特征a。有时需要对x进行预处理，比如白化（x_rot彼此独立）。如果使用了预处理，必须保存相关参数，比如PCA中的U，用于使用到有标注数据。

方法：1、替代：参考自编码器，将隐藏层的输出a作为新的特征,代替传统的特征x。将（x,y）->(a,y)

    2、级联：类似上述，但是保留了特征x。（x,y）->([a,x],y)。这种情况下，x会绕过隐藏层直接和输出层接触

2、通过有标注数据，softmax回归算法，获得(a,y)分类器（SVM、逻辑回归均可）

一旦获得上述的数据，分类很简单，和传统方法一样。使用监督学习的方式训练出分类器。特征好才是真的好！

需要注意，所有数据均可修正theta

3、自学习 vs 半监督学习

比如要求训练一个汽车-火车二分类。

1、自学习：对不同分布、无标注的数据进行训练特征。比如火车，汽车，摩托车、人等等图片。可以从网上下载

2、半监督：同分布，无标注，但范围固定。比如N张火车，N张汽车。

============================以上为自我学习部分，以下到深层网络=================================

1、微调，降低训练误差

1、前面通过无标注数据训练特征时，可以加入有标注数据进行训练。

2、只有大量标注数据清空下，微调效果明显。