卷积神经网络——DenseNet
来源:互联网 发布:windows.h在哪 编辑:程序博客网 时间:2024/06/06 17:40
网络结构
稠密连接:每层以之前层的输出为输入,对于有L层的传统网络,一共有L个连接,对于DenseNet,则有L(L+1)/2。
论文主要参考了Highway Networks,Residual Networks (ResNets)以及GoogLeNet,通过加深网络结构,提升分类结果。加深网络结构首先需要解决的是梯度消失问题,解决方案是:尽量缩短前层和后层之间的连接。比如上图中,H4层可以直接用到原始输入信息X0,同时还用到了之前层对X0处理后的信息,这样能够最大化信息的流动。反向传播过程中,X0的梯度信息包含了损失函数直接对X0的导数,有利于梯度传播。
DenseNet有如下优点:
1.有效解决梯度消失问题
2.强化特征传播
3.支持特征重用
4.大幅度减少参数数量
文中将带有Bottleneck layers的网络结构称为DenseNet-B。
除了在DenseBlock内部减少特征图的数量,还可以在transition layers中来进一步Compression。如果一个DenseNet有m个特征图的输出,则transition layer产生 ⌊θm⌋个输出,其中0<θ≤1。对于含有该操作的网络结构称为DenseNet-C。
同时包含Bottleneck layer和Compression的网络结构为DenseNet-BC。
具体的网络结构:
阅读全文
0 0
- 卷积神经网络——DenseNet
- 初识——卷积神经网络
- 4——卷积神经网络
- 卷积神经网络——VGG
- 卷积神经网络——ResNet
- 卷积神经网络——ResNeXt
- Theano入门——卷积神经网络
- 卷积神经网络CNN入门——代码
- 卷积神经网络——LeNet5为例
- 卷积神经网络——反向传播算法
- YJango的卷积神经网络——介绍
- YJango的卷积神经网络——介绍
- 卷积神经网络——LeNet-5
- 卷积神经网络——Network In Network
- 卷积神经网络——Wide ResNet
- 卷积神经网络经典模型——VGG
- Tensorlayer学习笔记——卷积神经网络
- 深度学习—卷积神经网络(一)
- HDU 1525 Euclid's Game 找规律博弈
- 移植 Nginx+PHP(FastCGI) 到 ARM Linux (三)
- sql和debug.php 引入 解决PHP开发遇到的问题
- OPENCV特征点java提取与匹配与比较
- POJ
- 卷积神经网络——DenseNet
- Servlet(服务器端对象session)
- 《深入理解mybatis原理》 MyBatis的二级缓存的设计原理
- tensorflow训练的模型在java中的使用
- theano DisconnectedInputError
- java多线程之死锁
- HDU 3032 Nim or not Nim? (sg函数) 注意打表方法
- 说给部分程序员听
- Elasticsearch with Search-Guard定时删除旧索引