Deep Learning笔记1

若假设输入有范数约束||x||2=∑100i=1x2i≤1,则可证（请读者自行推导）令隐藏单元i得到最大激励的输入应由下面公式计算的像素xj给出（共需计算100个像素，j=1,…,100）：
xj=W(1)ij∑100j=1(W(1)ij)2√.
上图的每个小方块都给出了一个（带有有界范数 的）输入图像\textstyle x，它可使这100个隐藏单元中的某一个获得最大激励。我们可以看到，不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。

如图是SparseAutoencoder训练出的权值可视化图像
训练样本为64∗10000矩阵（8∗8图像块∗10图∗1000抽样/图）
权值W(1)为64∗25矩阵（8∗8输入∗25隐含层）
如果输入图像与第一个图像块一致（在满足上述引用约束条件下），则最有机会使第一个隐含层节点激活。