卷积神经网络

原文地址：http://www.cnblogs.com/ronny/p/ann_03.html

一、卷积

那么在图像上，对图像用一个卷积核进行卷积运算，实际上是一个滤波的过程。卷积的基本数学表示：

f(x,y)∘w(x,y)=∑s=−aa∑t=−bbw(s,t)f(x−s,y−t)

其中I=f(x,y)是一个图像，f(x,y)是图像I上面x行y列上点的灰度值。而w(x,y)可被称作滤波器、卷积核、响应函数等等，而a和b定义了卷积核即w(x,y)的大小。

从上面的式子中，可以很明显的看到，卷积实际上是提供了一个权重模板，这个模板在图像上滑动，并将中心依次与图像中每一个像素对齐，然后对这个模板覆盖的所有像素进行加权，并将结果作为这个卷积核在图像上该点的响应。所以从整个卷积运算我们可以看到以下几点：

1）卷积是一种线性运算

2）卷积核的大小，定义了图像中任何一点参与运算的邻域的大小。

3）卷积核上的权值大小说明了对应的邻域点对最后结果的贡献能力，权重越大，贡献能力越大。

4）卷积核沿着图像所有像素移动并计算响应，会得到一个和原图像等大图像。

5）在处理边缘上点时，卷积核会覆盖到图像外层没有定义的点，这时候有几种方法设定这些没有定义的点，可以用内层像素镜像复制，也可以全设置为0。

二、卷积特征层

其实大部分的图像特征提取都依赖于卷积运算，比如显著的边缘特征就是用各种梯度卷积算子对图像进行滤波的结果。一个图像里目标特征主要体现在像素与周围像素之间形成的关系，这些邻域像素关系形成了线条、角点、轮廓等。而卷积运算正是这种用邻域点按一定权重去重新定义该点值的运算。
水平梯度的卷积算子：

竖直梯度的卷积算子：

根据深度学习关于人的视觉分层的理论，人的视觉对目标的辨识是分层的，低层会提取一些边缘特征，然后高一些层次进行形状或目标的认知，更高层的会分析一些运动和行为。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。

而深度学习就是通过这种分层的自动特征提取来达到目标分类，先构建一些基本的特征层，然后用这些基础特征去构建更高层的抽象，更精准的分类特征。

那整个卷积神经网络的结构也就很容易理解了，它在普通的多层神经网络的前面加了2层特征层，这两层特征层是通过权重可调整的卷积运算实现的。

三、卷积神经网络

在原来的多层神经网络结构中，每一层的所有结点会按照连续线的权重向前计算，成为下一层结点的输出。而每一条权重连结线都彼此不同，互不共享。每一个下一层结点的值与前一层所有结点都相关。

与普通多层神经网络不同的是，卷积神经网络里，有特征抽取层与降维层，这些层的结点连结是部分连接且，一幅特征图由一个卷积核生成，这一幅特征图上的所有结点共享这一组卷积核的参数。

这里我们设计一个5层的卷积神经网络，一个输入层，一个输出层，2个特征提取层，一个全连接的隐藏层。下面详细说明每一层的设计思路。

在一般的介绍卷积神经网络的文章中你可能会看到在特征层之间还有2层降维层，在这里我们将卷积与降维同步进行，只用在卷积运算时，遍历图像中像素时按步长间隔遍历即可。

输入层：普通的多层神经网络，第一层就是特征向量。一般图像经过人为的特征挑选，通过特征函数计算得到特征向量，并作为神经网络的输入。而卷积神经网络的输出层则为整个图像，如上图示例29*29,那么我们可以将图像按列展开，形成841个结点。而第一层的结点向前没有任何的连结线。

第1层：第1层是特征层，它是由6个卷积模板与第一层的图像做卷积形成的6幅13*13的图像。也就是说这一层中我们算上一个偏置权重，一共有只有（5*5+1）*6=156权重参数，但是，第二层的结点是将6张图像按列展开，即有6*13*13=1014个结点。

而第2层构建的真正难点在于，连结线的设定，当前层的结点并不是与前一层的所有结点相连，而是只与25邻域点连接，所以第二层一定有（25+1）*13*13*6=26364条连线，但是这些连结线共享了156个权值。按前面多层网络C++的设计中，每个连线对象有2个成员，一个是权重的索引，一个是上一层结点的索引，所以这里面要正确的设置好每个连线的索引值，这也是卷积神经网络与一般全连结层的区别。

第2层：第2层也是特征层，它是由50个特征图像组成，每个特征图像是5*5的大小，这个特征图像上的每一点都是由前一层6张特征图像中每个图像取25个邻域点最后在一起加权而成，所以每个点也就是一个结点有（5*5+1）*6=156个连结线，那么当前层一共有5*5*50=1250个结点，所以一共有195000个权重连结线，但是只有（5*5+1）*6*50=7800个权重参数，每个权重连结线的值都可以在7800个权重参数数组中找到索引。

所以第3层的关键也是，如何建立好每根连结线的权重索引与与前一层连结的结点的索引。

第3层：和普通多神经网络没有区别了，是一个隐藏层，有100个结点构成，每个结点与上一层中1250个结点相联，共有125100个权重与125100个连结线。

第4层：输出层，它个结点个数与分类数目有关，假设这里我们设置为10类，则输出层为10个结点，相应的期望值的设置在多层神经网络里已经介绍过了，每个输出结点与上面隐藏层的100个结点相连，共有（100+1）*10=1010条连结线，1010个权重。