初试cnn（1）

         前几天，老板安排任务了，要求找个卷积网络的c++代码自己跑一下试试，虽然有点蒙蔽可是还要去做，搜了很多代码，基本上都是从hithub.com里下载的代码，里面基本都是开源的代码，而且是经过测试没有问题的，补充一句，在这个网站串代码的人每个人都很厉害，程序近乎是完美的，大家在搞懂其中原理之后建议去学习一下人家的写作思路是怎样的。首先，建议大家跑一下tiny_cnn，这个比较简单。可以直接打开VC里面的vc12的vc++ pro，里面都是包装好的，先运行一下试试，炮成功之后再看代码。

（1）程序来源：         代码包下载地址：https://github.com/tiny-dnn/tiny-dnn，下载完之后解压即可。解压完之后包括数据和代码两个部分。data文件夹中存放了测试程序用的Mnist数据库。这里作者已经将数据库划分为测试样本集合训练样本集，并制作好了对应的标签矩阵，在调试程序的过程中只需要直接调用数据库即可，非常方便。以下是需要在debug链表中需要加入的opencv的库，还有其他的路径这里不做详细解释，可以见：http://blog.csdn.net/vicdd/article/details/52787787

（2）tiny_cnn的基本网络结构：

         1、Layer_base和Layer：这两个没什么说的，作为基类，封装的都是各个层所公有的操作，其内部的功能函数大都是虚函数和纯虚函数，依赖子类的多态性实例化。

　　2、Input_layer：输入层，基本的层构造操作，以及前向传播的的入口和反向传播的终点，在这一层完成数据（图像矩阵）的输入以及前向传播的开始，同时准备接受反向传播的结果。

　　3、convolutional_layer：卷积层，这是卷积神经网络的主力层，保存对应的卷积核和偏置核，方便在前向传播和反向传播过程中调用计算，同时提供了图像可视化结构，能够将保存的权重矩阵转换为图像形式进行可视化输出。

　　4、average_pooling_layer：均值下采样层，这一层主要有两个作用，对卷积层的输出结果进行下采用并可视化输出。

　　5、fully_connected_layer：全连接层，作为网络末尾的输出层，最终的输出结果就是网络的最终判决结果，即一个标签向量，这里面主要实现了前向传播算法和反向传播算法的全连接版（和卷积层略有不同）。

(3)分析程序里的卷积层-下采样层-卷积层-下采样层-卷积层-全连接层模式的CNN结构：

　　（1）卷积层C1：输入图像的尺寸为32*32，卷积核尺寸（卷积窗口尺寸）为5*5，输入数据模板数量为1，卷积核模板种类为6个，导致C1层对每个输入的图像进行卷积操作之后，得到6个卷积特征模板输出，并且卷积后图像的尺寸变为32-5+1=28

　　（2）均值下采样层S2：输入图像的尺寸为28*28，输入数据矩阵的个数为6个，均值下采样是的邻域窗口为2*2,。这里需要强调的一点是S2和C1是相邻层，S2以C1层的输出为输入，因此S2的输入尺寸等于C1的输出尺寸，S2的输入特征模板个数等于C1的输出特征模板个数，并且这两层之间的连接方式为全连接。S2层由于对输入数据矩阵进行了2*2的均值下采样，因此导致数据尺寸会缩小为原来的四分之一，即14*14。

　　（3）卷积层C3：输入图像尺寸为14*14，卷积核尺寸为5*5，输入数据模板数量为6个，该层卷积模板种类为16个，导致C3层对每个输入的图像进行卷积操作之后，得到16个卷积特征模板输出，并且卷积后图像的尺寸变为14-5+1=10。并且C3层与S2层之间的连接属性并非是默认的全连接，而是按照指定连接方式（存储在connection变量中）进行连接。

　　（4）均值下采样层S4：输入数据矩阵的尺寸为10*10，输入数据矩阵的个数为16个，均值下采样的邻域窗口为2*2，与S2相似，这里的下采样操作同样导致矩阵尺寸减半，因此S4层的特征矩阵输入尺寸为5*5。

　　（5）卷积层C5：输入数据矩阵尺寸为5*5，卷积核尺寸为5*5，输入数据模板数量为16，卷积核模板种类为120个。由于在这一层数据矩阵的尺寸已经和卷积核尺寸相同，导致每一次的卷积操作都将得到一个具体数值（即卷积窗口无法进行滑动），导致C5层输出的特征结构是一个120维的特征向量。

　　（6）全连接层：输入特征维数为120，输出特征维数为10（一共有十类），完成特征的分类工作，类此与一个抽象的线性分类函数。

　　（6）激活函数：从代码中可以看出，这里各个层之间的激活函数统一选用tan_h函数，当然tiny_cnn中还封装了很多其他类型的激活函数，在这里可以随便选择，但需要注意的一点是这个网络中理论上只能使用一种类型的激活函数。

（4）convolutional_layer类的整体结构

首先介绍在整个网络里最重要的一层。

一、成员变量

　　convolutional_layer类一共有五个私有的成员变量，in_保存了输入数据矩阵的基本属性：行数、列数、维数；out_保存了输出特征矩阵的基本形式：函数、列数、维数；weight_保存了权重矩阵的基本形式。connection_保存了当前卷积层与上一层（下采样层）之间的连接关系，window_size_保存了当前层卷积核尺寸。

　　这里有一点需要强调，in_、out_、weight_三个变量均是index3d<layer_size_t>形式，这里的index3d实际上指的是一个三元vector类型，其声明位于util.h文件中：

　　所以index3d类型的变量能够保存三个数值信息，并能够在其内部做一些简要运算。

　　二、构造函数

　　在研究完类的成员变量之后，接下来需要分析其内部的函数实现形式，以求对这个类的功能以及相关结构有更好的理解。convolutional_layer类的成员函数大体上可以分为三部分：构造函数、层间连接构造函数、返回函数。其中构造函数承担了成员变量的初始化任务。

　　2.1 构造函数的两种形式

　　convolutional_layer类提供了两种构造函数的形式，一种是采用默认的连接方式，也就是和前一层的卷积输出进行全连接，定义如下：

　　这里的connection_table（）会返回一个默认的全零矩阵，然后init_connection（）函数会将默认成员变量connection_初始化为全零矩阵，全零矩阵也就默认是全连接模式，这点稍后会给出详细分析。

　　convolutional_layer的第二种构造函数需要人为指定与前一层的连接形式，具体如下：

　　这里connection_table是由外部传入的、用户指定的连接矩阵，通过init_connection函数将其赋值给connection_。

　　2.2 构造函数输入参数

　　接来下对构造函数的参数以及与基类构造函数的继承关系进行分析。首先，convolutional_layer类在执行构造时一共需要以下几个参数： 

　　in_width：输入图片宽度（矩阵行数）；

　　in_height：输入图片高度（矩阵列数）；

　　window_size：卷积窗口大小；

　　in_channels：输入的模板数；

　　out_channels：输出的模板数

　　connection_table：矩阵的连接形式，可以默认生成也可以用户指定。

　　由于convolutional_layer类是继承自partial_connected_layer类，因此在执行convolutional_layer构造函数的过程中，首先需要执行其基类partial_connected_layer类的构造函数：

partial_connected_layer<Activation>(in_width * in_height * in_channels, (in_width - window_size + 1) * (in_height - window_size + 1) * out_channels,             sqr(window_size) * in_channels * out_channels, out_channels), 

　　有关partial_connected_layer类的构造函数我会在介绍partial_connected_layer类的博文中专门进行分析，这里就先不做过多的表述，接下来需要分析的是在convolutional_layer的构造函数中是如何实现对其成员变量的初始化的，具体代码如下：

　　（1）in_作为卷积层的输入参数，直接保存输入数据矩阵的尺寸以及通道数即可（单通道或者三通道）；

　　（2）out_作为卷积层的特征输出，由于存在滑动窗口卷积的缘故，导致其输出的特征矩阵的尺寸与输入的数据矩阵的尺寸不一致，具体值为“in_width - window_size + 1”和“in_height - window_size + 1”，并且输出的特征模板数量与指定的out_channels相当。

　　（3）weight_作为卷积层的权重矩阵，其尺寸自然应当和卷积核的尺寸相当，至于个数，则为输入数据矩阵数量*输出特征模板数量，即每个映射核完成一个输入矩阵到一个输出矩阵之间的映射任务，这就是所谓的权值共享和感受野的概念。

　　（4）connection_为卷积网络与前一层（下采样层）的连接形式矩阵，保存了表示连接与否标志位的矩阵，在LeNet-5网络中，第一个卷积层与输入层是全连接的，第二个卷积层和下采样层的连接情况如下所示：

　　对应的，在MyTinyCnn的测试程序中给出了对应的定义：

　　（5）window_size_保存了当前卷积层卷积核的尺寸，直接由用户指定即可。

参考：http://blog.csdn.net/u013088062