我读DenseNet
来源:互联网 发布:淘宝网正规催情药 编辑:程序博客网 时间:2024/05/16 14:56
背景
之前听说过DenseNet,再次被提起是因为七月初上交大主办的SSIST 2017,Yann Lecun的一页PPT,将其地位放置到如此之高,查了一下是CVPR 2017的一篇Oral,于是下定决心好好拜读一下。1
文章地址:https://arxiv.org/abs/1608.06993
代码地址:Torch版本,TensorFlow版本,MxNet版本,Caffe版本,
方法
我们回顾一下ResNet,大意就是本层的激活值与本层的输入,作为本层的输出。换一种方式理解,第
- 与传统的卷积网络相比,需要更少的参数就能得到相同的效果。这里指出一点,参数少并不意味计算量降低,实验前向速度并未比ResNet降低。作者给出的原因是每层的输入包括之前的所有层,所以可以避免传统网络中冗余的层;
- Densenet改变了传统网络反向传递时,梯度(信息)传播方式,由线性变成树状反向,这样的好处就在于减少了梯度消失的可能,并且加速训练,有利于更深层网络的训练;
- 作者发现稠密的网络结构有类似正则功能,在小数据集合上更好的避免过拟合。
实现
对于输入图像
作者又尝试了
Hl(·) 是BN+ReLU+Conv(1x1)+BN+ReLU+Conv(3x3)的组合,这种网络记为Densenet-B- 假设Dense模块之间的卷积输出channels个数是模块输出层数的
θ 倍,如果θ<1 网络记为Densenet-C,一般我们设θ=0.5 - 同时上面两种情况记为网络Densenet-BC
网络参数不放了,直接结果:
- From Weibo: http://weibo.com/2805770701/Fb6gC2TTv ↩
阅读全文
2 0
- 我读DenseNet
- DenseNet
- DenseNet
- DenseNet
- DenseNet模型
- DenseNet-caffe
- ResNet && DenseNet
- DenseNet 简介
- DenseNet 网络
- DenseNet结构
- DenseNet note
- FCN-DenseNet
- ResNet && DenseNet(原理篇)
- ResNet && DenseNet(实践篇)
- ResNet && DenseNet(原理篇)
- DenseNet算法详解
- CVPR2017 DenseNet, Refiner
- DenseNet的使用
- [FFT] BZOJ3527: [Zjoi2014]力
- Windows编程之旅(十)
- WMS系统开发总结-移库管理-下架与上架
- 17.nginx 的 rewrite 功能
- java中控制线程间执行顺序的方法
- 我读DenseNet
- 【实践】内存问题排查实践
- MySQL交叉连接
- 注册表单的验证方法封装
- 数据库基础知识(3)
- VMware下安装VMware tools以及设置共享文件夹
- Lombok原理文章总结
- 作为一名程序猿的心得day1
- java8常用的函数,以及lamda表达式有非运行异常能否在外部捕获