简单讲两句-卷积神经网络- convolutional nets

我要讲的卷积神经网络，思路来自于 Michal nilson 的网上教材，神经网络与深度学习。

如果您英文还行，请移步神经网络与深度学习，相信看英文原文，会有更清楚的理解。

OK， 

假设你已经对神经网络有一定的了解，知道“全连接”是什么意思。而对卷积神经网络的原理，过程等还有一些不清楚，希望下文我的理解可以帮到。

仍然以经典的 MINST 数据集（其中每个数字以28*28的矩阵表示） 手写数字识别为载体。聊一下卷积网络的工作过程。

在一般的神经网络中处理手写数字识别时，有一句话，“只要保证把所有的数据图片都按照同样的方式

展开（将矩阵展开成一个向量），那么你可以用任意的方式对矩阵进行展开而不会对网络的分类结果有明显影响”。

这句话隐含的意思是，

一般的全连接神经网络，考虑的是输入的全局信息，而非局部。

来到卷积神经网络，首先，输入不再是一个784（28*28）维的向量，而是一个28*28的矩阵。

我们不能对图片矩阵进行任意展开。

卷即网络中有三个重要的概念：

1. 感受野（local receptive fields）

2. 共享权重（shared weights）

3. 池化（pooling）。

下面依次介绍以上三个概念

1 感受野：

在卷积神经网络中，我们的输入层表示（对应输入数据矩阵28*28）成如下形式：

                                                       

其中每个神经元（neuron）对应一个输入矩阵的一个像素（pixel）值,

像在一般的神经网络中一样，我们需要把输入层接到一个隐藏层上去，但在卷积网络中，

这一层我们称之为卷积层。一个重要的不同点是，这次我们不是全连接，而是采用局部链接的方式。

也就是说，在卷积层（隐藏层）上的每一个神经元仅仅与输入层中的一小部分神经元像连接，如图：

在输入层上表明的区域（一个5*5的方形区域）就叫做-卷积层神经元的感受野，是一个可调参数。

这个感受野就像是加在输入的像素矩阵上的一个小窗口，这个窗口上的每一条连边将会学习到一个权重（weight）

而隐藏层的神经元会学到一个偏置（bias）作用于隐藏层神经元的输入。可以认为，特定的隐藏层神经元是

用来学习分析它所对应的感受野种的像素所代表的事物。

我们在整个输入矩阵上慢慢滑动感受野（通常从左上角开始），每次滑动一个或几个像素（滑动几个像素叫做步长：stride）

从左到右，从上到下。每一次，不同位置的感受野对应一个隐藏层（卷积层）上的神经元。

第一步，从左上角开始，移动感受野，每次移动一个像素点。

第二步，如图

如此一直移动到右下角为止。注意：如果我们的输入时28x28，并且使用5x5的感受野，那么对应的卷积层

将会有24x24个神经元(一时不理解可以再脑海中试着移动一下感受野，像是在一个方框里面移动一个正方形的格子，格子不能出框)。

共享权值和偏置：

所谓共享权值，就是我们在一次卷积过程中，所有的感受野所对应的5x5个权值，取相同的25个数值。这样

在很大程度上减少了卷积层所对应的可调参数数量。

而这样做的道理在于：

我们的一个感受野，其实是用来感受某一个（只感受一个！！！就像一个滤波器，一个有色镜片，只让一种光透过来）

特征的（比如说一段曲线，或者是一个拐角），这样有时候称输入层到卷积层的映射为“特征映射”，而以权重相同的

感受野滑过整个输入矩阵，得到的结果就是，这样的特征出现在整个输入矩阵的某个或某几个子区域（对应到

卷积层中的某一个神经元）。如果我们的卷积层仅仅感受一个特征，那么卷积层就是一个二维的矩阵，而如果

我们希望卷积层能够感受多个（如，n个）特征，那么此时对应的卷积层就成了一个（24*14*n）的三维矩阵。

如图，一个检测三个特征的卷积层，也可以扩展二十个，或者更多，实际应用中远不止三个特征。

一次卷积就是对输入的像素矩阵的一次抽象，在卷积前，计算机了解到的仅仅是一个个像素值，一层卷积之后，

计算机知道，哦，这几个地方是曲线，那几个地方是直角。

由于每一维的卷积对应的所要检测的局部特征是固定的，所以当然可以对这一维的所有感受野实行权值共享。

对于第( j,k )个隐藏的神经元，输出是：

这里的 sigma(括号外面的符号 ) 是神经元的激励函数，可以是sigmoid函数，softmax函数等。

w_（l,m）是5x5的共享权值，a_(x,y)表示对应（x,y）位置的输入（这里假定已经了解了神经网络的基本结构）。

在每一层卷积之后，往往会跟一个池化层；

那么什么是池化呢？ wait a moment.

++++++++++++++++++++++++++

继续占坑