LeNet网络模型各层及参数解读

最近开始学习深度学习，先从各种网络模型开始学起！

一、先详细讲解最简单的LeNet网络

（采用最常见的LeNet网络图形和BP算法的求解过程：）

1.LeNet-5含输入层共有8层，其中C1，C3，C5为卷积层，S2，S4为降采样层，F6为全连接层，还有一个输出层。每一个层都有多个Feature Map（每个Feature Map中含有多个神经元），输入通过一种过滤器作用，提取输入的一种特征，得到一个不同的Feature Map。
第一层：输入层，输入图像的大小为32*32，这要比mnist数据库中的最大字母（28*28）还大，这样做的目的是希望潜在的明显特征，比如笔画断续，角点等能够出现在最高层特征监测子感受野的中心。
第二层：c1卷积层，卷积运算的作用：通过卷积运算，可以使原信号特征增强，并且降低噪声。
卷积对于二维图像中的效果就是：对于图像中的每个像素邻域求加权和得到该像素点的输出值。c1层有6个5*5大小卷积核，卷积层计算公式，其中K表示从L到L+1层经过卷积运算的一个卷积核的各元素，b表示偏置。
所以c1层参数（5*5+1）6=156个；c1层每个feature map大小（32-5+1）（32-5+1），即28*28个神经元；每个feature map中的每个神经元与输入层的5*5的区域相连，所以对应全连接数（5*5+1）6（28*28）=122304个，计算如下图所示：

第三层：S2为下采样层，下采样的作用： 利用图像的局部相关性原理，对图像进行子抽样，可以减少数据处理量，同时又保留有用的信息。本层 6个Feature Map，大小为14*14。
池化层一般有两种方式：
（1） Max_Pooling： 选择Pooling窗口中最大值最为采样值
（2） Mean_Pooling： 将Pooling窗口中的所有值相加取平均，然后以平均值最为采样值。
Max_Pooling采样方式：

s2层中每个神经元由4个输入相加，乘以一训练参数，加上一个偏置参数，再通过sigmoid激活函数计算得到一个缩小四倍的feature map，采样过程详见下图：

S2层有12个训练参数：（1+1）*6=12
有5880个全连接数：（2*2+1）*（14*14）*6=5880
第四层：C3卷积层，采用卷积核Filter大小为5*5，去卷积S2，得到的Feature Map大小为10*10。本层每一个Feature Map连接到S2的所有6个Feature Map或者是几个Feature Map。
为什么不把S2的每一个Feature Map连接到S3的每一个Feature Map中？原因有2： 第一，不完全连接机制连接的数量保持在合理范围，第二，这样破坏了网络的对称性，由于不同的Feature Map有不同的输入，所以迫使他们抽取不同的特征（理想状态特征互补）。
组合方式见下图：

C3层1516个训练参数：6*（5*5*3+1）+9*（5*5*4+1）+1*(5*5*6+1)=1516
共有151600个连接数：1516*10*10=151600
第五层：S4下采样层，由16个5*5的Feature Map组成，Feature Map中每个单元与C3中相应的Feature Map的2*2邻域相连。
同S2，S4有32个可训练的参数：（1+1）*16=32
2000个连接:（2*2+1） * 16 * 5*5 = 2000
第六层：C5 卷积层，这一层有120个Feature Map,C5的Feature Map的大小为（5-5+1）*（5-5+1）=1*1。每个单元与S4层的全部的16个5*5的邻域相连,此时构成了S4与C5之间的全连接。但这里C5表示为卷积层而不是全连接层，是因为如果LeNet的输入变大，而其他保持不变，此时的Feature Map的大小就比1*1要大。
C5有48120个可训练的参数和链接（相同）： （5*5*16 +1） *120 = 48120。
第七层：F6全连接层，有84个feature map（之所以是84是因为输入层的设计），每个feature map只有一个神经元与C5全连接，F6计算输入向量（120个）和权重向量之间的点积，再加上一个偏置，最后将其传递给sigmoid函数产生一个单元i（共有84个）的一个状态。
一共有10164个可训练的连接：（1*1*120+1）*84=10164。
第八层：输出层也是全连接层共有10个节点，表示0~9，每个单元（节点）有84个输入。输出层采用了RBF函数，即径向欧式距离函数，计算公式为，， 也就是说： 每个输入RBF单元计算输入向量和参数向量之间的欧氏距离。
RBF的值有i的比特图编码确定。越接近于0，则越接近于i的比特编码图，表示当前网络输入的识别结果是字符i。
该层参数和连接数：84*10=840
【参考链接：】（http://blog.csdn.net/genius_zz/article/details/52804585）