Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文笔记

简介

V4模型地址
https://github.com/tensorflow/models/blob/master/slim/nets/inception_resnet_v2.py
随着深度学习的发展，网络结构也出现各种各样的结构。受Googlenet的Inception和何凯明ResNet的 Residual connections启发，本文的方法就是结合Inception结构和Residual connectionl结构形成的网络。下面我们看一下最近的网络发展情况：

图中横坐标是操作复杂度，纵坐标是在Imegnet上的结果。可以看出从AlexNet到VGG时网络参数越大结果越好，而随着Inception结构和残差网络的出现，得到同样的精度但参数更少。

模型结构

InceptionV4结构

Inception-ResNet结构

可以看出InceptionV4则是Inception结构和Residual Connections分开，而Inception-ResNet则是两者结合在一个模块。
Inception卷积连接

Inception-ResNet V1 Residual Conection 方式

Inception-ResNet V2 Residual Conection 方式

实验结果

在单模型的情况下，V4能得到和Inception-ResNet-V2的效果，V3和Inception-ResNet-V1效果一样，而Inception-ResNet-V2比Inception-ResNet-V1卷积核更多因此计算量更大。