CNN初探(三)------Going Deeper with Convolutions
来源:互联网 发布:微博多账号登录软件 编辑:程序博客网 时间:2024/05/01 15:47
Hebbian principle(赫布理论)
Cells that fire together, wire together
描述突触可塑性的原理, 即突触前神经元向突触后神经元的持续重复的刺激可以导致突触传递效能的增加。
简述信息
- GoogLeNet相较于2012年Krizhevsky提出的网络结构,减少到了1/12的参数,并且更加精确。
- 对于大多数实验,模型被设计为在推断时间保持1.5billion次加乘运算。(嵌入式计算能力的加强,现实使用的可能性)
- Deep neural network的deep有两方面意义:1.介绍了一种新水平的组织结构“Inception module”;2.不断增加的网络深度。
- 使用1*1的卷积层有两方面的考虑:1、主要被作为降维模块来减少计算瓶颈,使得增大网络结构成为可能;2、使得不但增加了深度,同时增加了网络的宽度,而又没有显著增加计算的负担。
- 直接扩大网络结构(深度和宽度)会有两方面的影响:1、简单扩大的网络会更倾向过拟合,同时在标签数据有限的情况下;2、增大计算负担。增加一层,平方级地增加。解决这两个问题的基本方法是将全连接层替换为一个稀疏的版本?(数学证明S. Arora, A. Bhaskara, R. Ge, and T. Ma. Provable bounds for learning some deep representations. CoRR, abs/1310.6343, 2013.)
Inception module
结构信息
- 22层网络结构
- 结构具体信息
训练方法
- Asynchronous stochastic gradient descent with 0.9 momentum
- fixed learning rate schedule (decreasing the learn- ing rate by 4% every 8 epochs)
- Polyak averaging was used to create the final model used at inference time
本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。
0 0
- CNN初探(三)------Going Deeper with Convolutions
- Going Deeper with convolutions
- Going deeper with convolutions
- Going Deeper with Convolutions
- Going deeper with convolutions
- Going deeper with convolutions
- Going deeper with convolutions-GoogLeNet(阅读)
- Going deeper with convolutions-GoogLeNet(阅读)
- googlenet笔记(Going Deeper with Convolutions)
- Going deeper with convolutions-GoogLeNet(阅读)
- going deeper with convolutions笔记
- Going deeper with convolutions笔记
- GoogleNet:Going deeper with convolutions
- GoogleNet - Going deeper with convolutions
- 《Going Deeper with Convolutions》笔记
- going deeper with convolutions (Googlenet网络解读)
- [深度学习] Going Deeper with Convolutions(GooLeNet)阅读笔记
- 论文笔记:Going deeper with convolutions(inception v1)
- Apache Curator入门实战
- iOS开发Debug之获取UITextField当前显示的内容
- iOS App之间常用的五种通信方式及适用场景总结
- 8086存储器编址和I/O编址
- 转屏蒙板HUB方向问题(在NSObject中获取当前页面)
- CNN初探(三)------Going Deeper with Convolutions
- 动态规划之最优二叉搜索树的结构 C++实现
- java动态代理(JDK和cglib)
- Django-model
- Linux下gcc编译过程,静态链接库和动态链接库
- 银行
- java循环语句详解
- 【jzoj4878】【时空传送】【最短路】
- VirtualBox + CentOS7 安装PHP运行环境(一)