深度学习UFLDL（一）

基础：机器学习
稀疏自编码：
神经网络简介
反向传导算法
梯度检验和高级优化
自编码器与稀疏性
练习：

1. 产生训练集
2. 稀疏自编码目标（损失函数）
3. 梯度检验
4. 训练稀疏自编码器

5. 可视化结果

   所谓稀疏自编码就是一种无监督学习算法，使用BP，将目标值设为输入值
   目标：hW,b(X)≈x
   稀疏性：最少的隐含层单位来表示输入层特征，也就是让所有隐含层单位平均激活值接近0。
   损失函数（代价函数）：
   
   稀疏自编码器的目标就是用尽可能少的隐含层表示输入的特征，将数据维度降低。

矢量化编程加快速度

主成分分析与白化

Softmax回归

自我学习与无监督特征学习

处理大型图像：卷积特征提取、池化

自编码线性解码器

使用分类深度网络

RBM、DBN等网络