【UFLDL】稀疏自编码网络

学习中关注的重点：

算法方面    1、梯度反向传播公式的推导2、网络总体代价函数的构成；识别偏差loss（对所有patch的平均偏差值）+模型参数复杂度（系数W的平方和均值）+稀疏化代价（平均隐藏层激活度与设定激活度的相对熵）编程方面：用矢量化编程代替for循环，用矩阵运算代替向量运算

稀疏自编码网络，顾名思义：稀疏指的是隐藏层神经元的平均激活度较低（0.01）,自编码指的是输出与输入的结果尽量保持相同。
；从宏观上来理解，稀疏自编码网络可以看做是一种特征提取手段，类似于PCA，LDA等数据降维方法，将输入的大量节点用隐藏层的少量节点存储，但可以通过某种方式，以较小的还原度还原原始数据。
不难理解，稀疏自编码网络之所以被用在深度神经网络的初始值训练上，一来是可以用他来进行简单的初始化，减少复杂DNN网络的迭代次数，提高效率；而更本质的原因是，进过稀疏自编码网络，数据的信息量并不发生大的变化，但数据本身的冗余被消除了，这就做到了在保全信息量的同时简化网络的计算量和网络结构的复杂度。
关于神经网络的结构，约定的符号的意义如下图：