深度学习论文随记(四)ResNet 残差网络-2015年Deep Residual Learning for Image Recognition
来源:互联网 发布:子域名设置cname 编辑:程序博客网 时间:2024/05/19 14:38
深度学习论文随记(四)ResNet 残差网络
DeepResidual Learning for Image Recognition
Author:Kaiming He, XiangyuZhang, Shaoqing Ren, Jian Sun,
Microsoft Research
Year:2015
1、导引
之前文章谈到GoogLeNet和VGG,人们开始认为增加网络的层数,即让网络变深似乎能进一步提高分类任务的准确性。于是,微软研究院的何凯明团队提出了这样一个问题:
Is learning better networks as easy as stacking more layers?
然后他们通过增加层数就发现一个奇怪的现象:
When deeper networks areable to start converging, adegradationproblem has been exposed:
网络加深了, accuracy却下降了。如上图20-layer和50-layer的对比图所示,第20层网络相比,第56层网络存在更高的训练误差与测试误差。这个问题称为degradation。并且,他们发现这个问题is not caused by overfitting. 所以degradation问题说明不是所有网络都那么容易优化。
正因如此,他们提出了残差网络的idea. 构建了Deep Residual Net
然后在2015年的各类比赛中,他们取得了如下成果。
然后大家可以感受一下深度学习网络的“深度革命”
在ILSVRC2010年左右还主要是浅层网络,大部分需要手动调教特征。在ILSVRC2012年时,出现了8层的网络——AlexNet,降低了10%的错误率。而后ILSVRC2014出现的VGG和GoogleNet是相当成功的,它们分别将层级提到了19层、22层,错误率也降低到了7.3、6.7。到ILSVRC2015, ResNet将层级提到了152层,将错误率降到了3.57。
2、模型分析
通过在输出个输入之间引入一个shortcut connection,而不是简单的堆叠网络,这样可以解决网络由于很深出现梯度消失的问题,从而可可以把网络做的很深。
实际中,考虑计算的成本,对残差块做了计算优化,即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1, 如下图。新结构中的中间3x3的卷积层首先在一个降维1x1卷积层下减少了计算,然后在另一个1x1的卷积层下做了还原,既保持了精度又减少了计算量。
3、特点分析
在ImageNet上进行了综合性实验展示精准度下降问题,并对他们的方法做出评估。发现:
(1)特别深的残差网络很容易优化,但当深度增加时对应的“平面”网(即简单的堆栈层)表现出更高的训练误差。
(2)深度残差网络能够在大大增加深度的同时获得高精准度,产生的结果本质上优于以前的网络。
公式F(x)+x可以通过“快捷连接”前馈神经网络实现。
快捷连接是那些跳过中的一层或更多层。在我们的情景中,快捷连接简单的执行身份映射,并将它们的输出添加到叠加层的输出。身份快捷连接添加既不产生额外的参数,也会增加不计算的复杂度。
- 深度学习论文随记(四)ResNet 残差网络-2015年Deep Residual Learning for Image Recognition
- [深度学习]Deep Residual Learning for Image Recognition(ResNet,残差网络)阅读笔记
- 【深度学习】论文导读:图像识别中的深度残差网络(Deep Residual Learning for Image Recognition)
- 深度残差网络 - Deep Residual Learning for Image Recognition
- Deep Residual Learning for Image Recognition(ResNet)残差网络解读
- Deep Residual Learning for Image Recognition(ResNet)论文笔记
- Deep Residual Learning for Image Recognition(ResNet)论文笔记
- ResNet:Deep Residual Learning for Image Recognition
- ResNet--Deep Residual Learning for Image Recognition
- 图像识别的深度残差学习Deep Residual Learning for Image Recognition
- 基于深度残差学习的图像识别Deep Residual Learning for Image Recognition
- 基于深度残差学习的图像识别 Deep Residual Learning for Image Recognition
- resnet笔记(Deep Residual Learning for Image Recognition)
- [深度学习论文笔记][Image Classification] Deep Residual Learning for Image Recognition
- 论文-Deep Residual Learning for Image Recognition
- 深度学习论文笔记 [图像处理] Deep Residual Learning for Image Recognition
- [译] Deep Residual Learning for Image Recognition (ResNet)
- ResNet 《Deep Residual Learning for Image Recognition》 阅读笔记
- Preference、PreferenceActivity,PreferenceFragment
- Java获取客户端提交参数乱码解决办法
- C++类实现顺序表和双向链表
- LeetCode 11. Container With Most Water
- 1.Arcgis图层与服务
- 深度学习论文随记(四)ResNet 残差网络-2015年Deep Residual Learning for Image Recognition
- Naive Bayes分类器详解
- 7.19 暑期集训——动态规划篇(一)
- 常见web安全及防护原理
- Python文件数据简单处理
- Android简单获取string.xml中名字和内容
- shell 数据清洗
- JavaWeb使用SQL Server驱动的JDBC(4)
- [数据库事务与锁]详解六: MySQL中的共享锁与排他锁