Resnet结构分析

残差网络（Resnet）在论文Deep Residual Learning for Image Recognition中被提出。论文链接：https://arxiv.org/pdf/1512.03385.pdf

首先resnet由building block或bottleneck组成。building block的结构如下：

bottleneck的结构如下：

不同数量的building block或bottleneck组成了不同的resnet：

在实际使用中，很多网络几乎原封不动地使用resnet中的卷积层结构，上图中的resnet-50和resnet-101的在各种任务重是很常见的。为了提高应用能力，上面中卷积层的个数有必要记下来。上图中第一栏layer name分为5组，feature map的通道数依次乘2。由于上下组的卷积层通道数不同，使得短路连接不能直接相加，故需要在后四组连接上一组的第一个卷积层的短路连接通路添加投影卷积。

当然，在特定的任务中，resnet的结构并非就是完美的了，因此有些论文中对resnet的结构略微进行了修改（仍属于resnet结构）。修改存在两方面，一方面是修改building block本身的结构，另一种是修改上面各组卷积层的数量搭配。sphereface是一个典型的例子。它将building block中relu从加号后放到了加号前，使得训练的收敛速度加快。而且，它还修改了各组卷积层的卷积层个数，当然，它的卷积层个数还是跟上表中的安排比较类似的。