ResNet

1网络结构：

ResNet将网络往深里设计的思想发挥到了极致，据说有一千多层的，在ResNet网络中，深刻体会到没有最深，只有更深！那么问题来了，Resnet是怎么做到在这么极深的网络下，训练成功的？因为我们知道，随着网络层数的增加，需要训练的网络参数将不断增加，训练强度将大大提升，对于这种上千层的网络，面临的已经不仅仅只有过拟合的问题了，还有Degradation的问题。
从Resnet的网络结构图中，我们可以看到一种异于常规网络的结构，即shortcut，叫残差网络，如下图所示。

这种结构网络的设计的目的就要解决网络层次比较深的时候无法训练的问题。从图中可以直观的看出，旁边专门开个通道使得输入可以直达输出，所以最后的优化目标由原来的拟合输出H(x)变成输出和输入的差F(x)=H(x)-x，即残差。其中H(X)是某一层原始的的期望映射输出，x是输入。这种残差网络单元有两层残差学习单元，还有三层残差学习单元。此外ResNet所有层中的卷积核都是3*3或者1*1的小卷积核。
2 成绩：
2015年冠军，错误率3.57%左右。实现极深网络的训练，在深度学习中是一个里程碑式的突破。
3 新技术点：
残差学习模块的提出。