卷积神经网络

回顾

昨天介绍了CNN的卷积操作，能减少权重参数的个数，卷积操作涉及到三个超参数：

• 深度（Depth）

• 步长（Stride）

• 零填充（Zero-padding）

还有一种运算，叫做求内积，关于这部分的总结，请参考：

深度学习|卷积神经网络（CNN）介绍（前篇）

下面，阐述CNN剩下的两种操作，ReLU，Pooling。

02

—

ReLU操作

CNN用的激活函数不是Sigmoid函数，大家都知道Sigmoid函数最大的问题是随着深度学习会出现梯度消失，这样会导致最后的收敛速度变得很慢，经过实践证明，采取另外一个函数，性能会更好些，这就是 ReLU 函数，它长这样：

可以看出在 x 大于 0 时，它是线性函数，在 x 小于 0 时，它是非线性的函数，因此ReLu综合起来看为非线性函数。 

ReLU函数对CNN的实际意义

可以看出CNN中的卷积操作是线性操作，对应元素相乘，然后再求和，又知道在现实世界中，大部分的数据都是非线性的，所以有必要引入一个非线性的激活函数，下面通过ReLU操作看下对图片的影响：

原图像

左图为对原图像卷积后的图像，右图为ReLU后的图像，对于单通道图上取值范围为0－255，其中255为白色，0是黑色，因为卷积后的结果有可能为负值，所以经过ReLU后，所有的值为非负值，不再出现有问题的负值。

03

—

Pooling层

Pooling层能起到降低上一层输入的特征的维数的作用，但是同时能保持其最重要的信息，Pooling操作分多种：最大池化，平均池化，求和池化等。

以最大池化为例，池化一般在ReLU操作之后，首先定义一个相邻区域，然后求出这个区域的最大值，再选定一个步长，依次遍历完图像，如下图所示：

Pooling 操作的实际意义

• 使得输入的特征维数降低，更易于管理

• 有了第一条，也会使得权重参数个数变少，更易于收敛。

• Pooling操作相当于决策树中的剪枝操作，能防止过拟合。

• 经过池化操作后，CNN可以适应图片小的位移，扭曲，位移

• 经过吃化操作后，CNN可以帮助我们达成在一定尺度上的不变性，这是非常重要的，因为图像不再受外界环境的干扰。

  
  

04

—

CNN总结

至此已经介绍完了CNN使用的核心技术，如果将卷积操作，ReLU操作，Pooling操作结合起来，我们可以得到如下深度网络，可以看出共进行了2次卷积和池化，完成对输入的图像的特征提取，接下来就是全连接层，所谓的全连接层与之前说的DNN（全连接多层神经网络）是一致的，大家可以参考之前的推送复习多层感知器。

经过全连接层，会使用前一层提取的所有主要特征，使用一般的均值方差作为损失函数，在输出层可以使用softmax分类器完成多分类任务。可以看出预测的结果为一只船，这是合理的。

下面总结下CNN的算法：

1. 初始化所有的过滤核，超参数，权重参数等

2. 输入训练的图像数据，经过前向传播，包括：卷积操作，ReLU操作，池化操作和全连接层的前向传播，最后在输出层得到属于每个类的概率值。

3. 计算在输出层的总误差，采用均方误差项：总误差 = ∑  ½ (目标概率 – 输出概率) ²

4. 用反向传播计算误差项相对于权重参数和偏置项的梯度，以此最小化3中的误差和，等达到某个阈值时，停止训练。

5. 对所有图像数据重复 2-4 操作。

   
   

---