卷积神经网络（CNN）

卷积神经网络（CNN）

• 参考文章：卷积神经网络（CNN）
  卷积神经网络（Convolutional Neural Networks）神经元间的连接是非全连接的（稀疏连接）， 同一层中某些神经元之间的连接权重是共享的（即相同的）。为什么要权重共享呢？一方面，重复单元能够对特征进行识别，而不考虑它在可视域中的位置。另一方面，权值共享使得我们能更有效的进行特征抽取，因为它极大减少了需要学习的自由变量的个数。
  卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。这些良好的性能是网络在有监督方式下学会的。
  卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。网络中包含一些简单元和复杂元，分别记为S-元和C-元。S-元聚合在一起组成S-面，S-面聚合在一起组成S-层，用Us表示。C-元、C-面和C-层之间存在类似的关系。一般地，Us为特征提取层，每个神经元的输入与前一层的局部感受域相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；Uc是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。卷积神经网络中的每一个特征提取层(S-层)都紧跟着一个用来求局部平均与二次提取的计算层(C-层)，这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。
  卷积网络一个例子的工作流程如下，输入层由32×32个感知节点组成，接收原始图像。然后，计算流程在卷积和子抽样之间交替进行，如下所述：第一隐藏层进行卷积，它由8个特征映射组成，每个特征映射由28×28个神经元组成，每个神经元指定一个5×5的接受域；第二隐藏层实现子抽样和局部平均，它同样由8个特征映射组成，但其每个特征映射由14×14个神经元组成。每个神经元具有一个2×2的接受域，一个可训练系数，一个可训练偏置和一个sigmoid激活函数。可训练系数和偏置控制神经元的操作点。第三隐藏层进行第二次卷积，它由20个特征映射组成，每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接，它以与第一个卷积层相似的方式操作。第四个隐藏层进行第二次子抽样和局部平均汁算。它由20个特征映射组成，但每个特征映射由5×5个神经元组成，它以与第一次抽样相似的方式操作。第五个隐藏层实现卷积的最后阶段，它由120个神经元组成，每个神经元指定一个5×5的接受域。最后是个全连接层，得到输出向量。相继的计算层在卷积和抽样之间的连续交替，我们得到一个“双尖塔”的效果，也就是在每个卷积或抽样层，随着空间分辨率下降，与相应的前一层相比特征映射的数量增加。卷积之后进行子抽样的思想是受到动物视觉系统中的“简单的”细胞后面跟着“复杂的”细胞的想法的启发而产生的。其中，input 到C1、S4到C5、C5到output是全连接，C1到S2、C3到S4是一一对应的连接，S2到C3为了消除网络对称性，去掉了一部分连接， 可以让特征映射更具多样性。需要注意的是C5 卷积核的尺寸（行×列）要和S4的输出相同，只有这样才能保证输出是一维向量。卷积层和子采样层都包括前馈运算和反馈运算。全连接层的学习与传统的神经网络的学习方法类似，也是使用BP算法。
• 参考文章：Ronny的技术成长之路
  卷积实际上是提供了一个权重模板，这个模板在图像上滑动，并将中心依次与图像中每一个像素对齐，然后对这个模板覆盖的所有像素进行加权，并将结果作为这个卷积核在图像上该点的响应。
  深度学习通过分层的自动特征提取来达到目标分类，先构建一些基本的特征层，然后用这些基础特征去构建更高层的抽象，更精准的分类特征。
  卷积神经网络多了特征提取层与降维层，他们之间结点的连结方式是部分连结，多个连结线共享权重。而多层神经网络前后两层之间结点是全连结。除了这以外，权值更新、训练、识别都是一致的。
• 参考文章： Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
  在卷积的数学定义中，特征矩阵（卷积核）在传递给卷积函数时需要先翻转（flipped）一下。也就是颠倒下特征矩阵的行和列（因为矩阵乘是行×列）。然后把输出反旋转回来，这样我们在前向传播进行卷积的时候，卷积核才是我们想要的方向。对于子采样层来说，有N个输入maps，就有N个输出maps，只是每个输出map都变小了。
• 参考文章：Deep Learning（深度学习）学习笔记整理系列之（七）
  神经网络用于模式识别的主流是有指导学习网络，无指导学习网络更多的是用于聚类分析。卷积网络执行的是有指导训练，所以其样本集是由形如：（输入向量，理想输出向量）的向量对构成的。
• 参考文章：卷积神经网络
  怎么理解权值共享呢？可以把卷积操作看成是提取特征的方式，该方式与位置无关。这其中隐含的原理则是：图像的一部分的统计特性与其他部分是一样的。这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。
  例子：在四个通道上的卷积操作，有两个卷积核，生成两个通道w1和w2。其中需要注意的是，四个通道上每个通道对应一个卷积核（当前那个，同一个），先将w2忽略，只看w1，那么在w1的某位置(i,j)处的值，是由四个通道上(i,j)处的卷积结果相加然后再取激活函数值得到的。
  在实际应用中，往往使用多层卷积，然后再使用全连接层进行训练，多层卷积的目的是一层卷积学到的特征往往是局部的，层数越高，学到的特征就越全局化。