深度学习经典网络--学习笔记

AlexNet:
（1）成功使用Relu作为CNN的激活函数，并验证其效果在较深的网络中超过了sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。
（2）使用了Dropout，避免过拟合
（3）在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化。且提出了让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。
（4）提出了LRN(局部响应归一化层)，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并印制其它反馈较小的神经元，增强了模型的泛化能力。
（5）使用CUDA加速深度学习神经网络训练
（6）数据增强，


VGGNet:
 整个网络都使用了同样大小的卷积核尺寸（3*3）和最大池化尺寸（2*2）。
 (1)两个3*3的卷积层串联相当于1个5*5的卷积核，即一个像素会跟周围5*5个像素产生关联。3个3*3的卷积层串联，效果则相当于1个7*7的卷积层。但3个3*3的卷积层拥有比1个7*7的卷积层更多的非线性变换（前者可以使用三次ReLU激活函数，而或者只有一次），使得CNN对特征的学习能力更强。
（2）LRN层效果不大
（3）网络越深效果越好
（4）1*1的卷积也很有效，但没有3*3效果好，大一些的卷积核可以学习更大的空间特征。
（5）VGGNet的模型参数虽然比AlexNet多，但反而只需要迭代更少次数就可以收敛。主要原因是更深的网络和更小的卷积核带来的隐式的正则化效果。


Inception Net:
（1）参数越庞大，需要供模型学习的数据量越大，而高质量的数据非常昂贵。
（2）参数越多，耗费的计算资源越多。
（3）去除最后的全连接层，用全局平均池化层（即图片尺寸变为1*1）。全连接层几乎占据了AlexNet和VggNet中90%的参数量。
（4）一般卷积层要提高表达能力，主要依靠增加输出通道数，但副作用是计算量增大和过拟合。