ResNet-论文阅读理解-笔记
来源:互联网 发布:报考东华大学网络教育 编辑:程序博客网 时间:2024/05/17 09:41
论文:Deep Residual Learning for Image Recognition
论文原文:https://arxiv.org/abs/1512.03385
论文翻译:http://www.jianshu.com/p/f71ba99157c7
核心技术:
1.研究了普通网络在深度较深的时候的表现,发现反倒不如稍浅一些的网络(34层和18层比较,18层的效果比34层好),并且检验发现这并不是前向或者后向的梯度消失导致的,提出深的普通网络可能有指数级别的较低的收敛速度的猜想。
2.提出残差网络结构(residual network),通过使用残差网络解决普通网络在深度较大时候面临的退化问题,做出逼近残差(
改进后用于逼近残差的网络的基础块如下所示:
论文中将普通网络和改进后的残差网络的表现相比较发现残差网络能够很好的解决网络的退化问题。
3.提出两种不同的残差模块
自身捷径(Identity Shortcuts)
用于输入与输出维度一致的情况,没有引入新的参数,也没有增加网络的计算复杂度,
投影捷径(Projection Shortcuts)
试用于输入x和输出y维度不同的时候(维度相同也可以用,会增加参数和计算复杂度,而且带来的提升效果不大,所以作者后面的研究中并没有使用这种结构),使用
4.深度瓶颈构架(Deeper Bottleneck Architectures)
使用1x1,3x3,1x1的三层替代原本单元块中的两个3x3层,试用1x1的filter达到减少以及恢复尺寸的作用,在极深的网络训练过程中减少计算复杂度,从而减少训练时间。
突出贡献:
提出了一种可以很好的解决极深网络的退化问题的方案。使得深度网络的进一步加深成为可能。
没有最深,只有更深。
附网络结构
- ResNet-论文阅读理解-笔记
- ResNet论文笔记
- resNet论文笔记
- ResNet论文笔记
- caffe学习笔记27-ResNet论文笔记
- 论文笔记:Inception-V4, Inception-ResNet
- resnet 论文
- Tensorflow slim resnet v2源码阅读笔记
- 论文阅读理解
- 论文阅读理解
- 论文阅读理解
- 论文阅读理解
- 论文阅读理解
- 论文阅读理解
- 论文阅读理解
- 论文阅读理解
- 论文阅读理解
- 论文阅读理解
- centos安装phpmyadmin
- Glide 内存溢出
- C语言中的未初始化变量的值
- 解决跨域问题的八种方案
- 设计模式之---代理模式(AOP的原理)
- ResNet-论文阅读理解-笔记
- centos7 mysql数据库安装和配置
- 朴素贝叶斯分类器:例子解释
- 环形字符串字典序最小排序
- Gson 版本注解 理解
- Linux/mac环境下启动Tomcat
- 解决移动端overflow:scroll元素内部1px元素不显示方法
- 防卫导弹问题
- 图像分割学习小结