吴恩达深度学习笔记（四）week2深度卷积神经网络实例

---

吴恩达：通过学习经典网络对自己将来构建神经网络有启发性作用。

---

经典网络

• LetNet-5：主要特点是通道数增加，卷积核的尺寸下降，处理的是灰度图片。
  

• AlexNet:结构和LetNet-5相似，但是网络要大很多，处理的是彩色图片。
  

• VGG-16:卷积核和通道数都以一定规律变化，连接也不是卷积-池化-卷积的结构。
  

残差网络（Residual Networks，ResNets）

网络很深时易出现梯度下降和梯度消失，残差网络能有效的避免这个问题，残差网络就是跨层连接，构成残差块（Residual blocks）此时某些层的输入会加入跨层连接的神经元的输出，如下图所示。

理论上随着网络层数的增加，误差就会减少，但是实际上并不是这样，残差网络通常能到达理论上的效果。

为什么残差网络能比普通的网络表现好？如下图所示，当给原网络添加了两层，并添加了残差块时，新的网络输出为：

a[l+2]=g(z[l+2]+a[l])=g(W[l+2]a[l+1]+b[l+2]+a[l])

注意到若使用了L2正则化，则会对W[l+2],b[l+2] 压缩，一个极端的情况，若W[l+2],b[l+2] 都为0则新的输出便为g(a[l])即为a[l](因为此时的激活函数为ReLU)，若增加的两层学得了一些新的特征则新网络要比原网络表现得更好（非严格证明，启发式理解）

网络中的网络及1×1卷积

1×1的卷积核能减少通道数，如下图所示：