ResNet详解
来源:互联网 发布:重骑兵 知乎 编辑:程序博客网 时间:2024/05/24 03:20
ResNet(残差网络)
残差网络与传统网络相比较,其加入了y=x层(恒等映射层),其主要作用是使得网络随着深度的增加而不退化,并且还具有着较好的收敛效果
残差网络的基本组成
其中: 表示的是残差, 表示的是映射输出(网络的输出)。所以可以得到网络的输出 ,由于其基本组成中间有两个隐层,所以可以得到网络的输出为: ,其中 只为了保证两个矩阵的维度相同而进行的线性变换。
本网络的灵感来源于VGG网络,但是与VGG网络相比较具有更少的滤波器,以及更低的复杂度,VGG网络的FLOP(每秒峰值的速度:floating-point operations second)为19.6 billion FLOP,普通34层网络为3.6 billion FLOP,本文所提出的34层残差网络为3.6 billion FLOP。
由下图可以看出,在普通网络(图2中间)的基础上,我们对其引入了快捷连接(shortcut connection),即将普通网络转换为残差网络。当输入与输出具有相同维度时(即之间用实线连接),可以直接使用快捷连接。当维度增加时(即之间用虚线连接),我们考虑两个方面,(1)直接执行恒等映射,并且使用零填充的方式来保持参数的不变;(2)用式 来进行计算,并且在卷积之后激活函数之前对其进行批量归一化处理。
左边是VGG-19网络,中间是由VGG衍生的普通的34网络,右边是本文所提到的ResNet-34网络。
参考文献
http://www.cs.princeton.edu/courses/archive/spring16/cos598F/msra-deepnet.pdf
《Deep Residual Learning for Image Recognition》
- ResNet详解
- Resnet
- ResNet
- ResNet
- ResNet
- ResNet
- ResNet
- 残差resnet网络原理详解
- ResNet网络详解与keras实现
- ResNet && DenseNet
- resnet 论文
- ResNet解读
- ResNet实现
- ResNet学习
- ResNet小结
- 理解ResNet
- Resnet理解
- Resnet理解
- Modbus-RTU通讯协议中CRC校验码的计算步骤
- VS2013静态编译生成.exe可执行文件
- Spark RPC之RpcRequest请求处理流程
- 面试过部分童鞋,遇到的一些技术问题总结
- 使用openlivewrite发布的博客,csdn的metaweblog的网址
- ResNet详解
- 缓存
- ubuntu 英伟达显卡驱动安装攻略
- 环境变量
- 【Android】解决使用Dialog + EdiText 实现评论功能时,软键盘不协调的问题
- VR
- 对话框Dialog使用总结
- 热修复技术初探(二)
- 移动前端自适应解决方案和比较