深度学习之基础模型-NIN
来源:互联网 发布:淘宝店铺购买平台 编辑:程序博客网 时间:2024/05/17 23:35
Network in Network 是google提出的一种在网络结构上非常具有创造性的文章。以前的深度学习结构,往往是CNN+FC之类的组合,这样在CNN与FC进行结合的过程中,则把两部分过程独立来开,CNN负责提取特征,FC负责特征分类。
而NIN则利用mlpconv和global average pooling将CNN和FC两部分有机的结合在一起,使得其可解释性更强。从而文章的创新点:
*提出了mlpconv代替普通的卷积操作,从而来提升抽象能力 *提出了global average pooling,从而将CNN与FC有机的结合在一起,使得整个网络结构的可解释性更加强,效果也更佳
创新点一:mlpconv
首先,普通的卷积操作都是通过一个线性变换,然后后面跟着一个非线性激励函数
其中,
作者比较了传统的conv和mlpconv之间的区别:
- mlpconv在普通的卷积后面接了一个多层感知机MLP
- 在conv与MLP之间的连接采用的是global average pooling的方法:使得conv后的每一层特征通过全局平均产生一个元素,形成一个向量,然后在进行MLP,从而这样形成的特征层可以表示为分类目标的置信层(confidence map)
创新点二:global average pooling
一般的卷积神经网络,又CNN+FC构成,FC负责分类,最终的分类目标有多少类,则最后的输出多少维的向量,对应类别信息。但是,在CNN最后的特征层到FC是一个全联接,导致这部分的参数占据了整个网络参数的大部分,而且全联接很容易导致过拟合(overfitting)。
作者提供了一种全新的从特征层到最终的分类目标–global average pooling。该方法使得最终的特征层的深度等于最终的分类目标的种类数,然后后面紧跟一个全局平均池化,从而可以将特征层转化为一个分类向量,和最终的分类结果产生了直接的联系。
*该方法大大的减少了模型的参数,由于该连接方式没有参数,从而没有计算,大大减少了计算量,提高了计算速度 *该方法有效避免过拟合 *可解释性非常强,可以讲最终的feature map看作最终分类目标的confidence map
从上图中,可以看出最终的特征层与分类目标之间具有很强的相关性。
网络结构
论文中给出的结构如上图,作者将mlpconv作为一个最小单元,然后多个mlpconv叠加在一起,然后生成一个n(分类目标数量)层的特征层,最后通过global average pooling生成一个输出向量(n维,每一特征层生成一维)。
详细的结构可以参考下图:
【来源】
效果分析
首先作者在不同的数据集上进行了对比,发现该方法具有很好的效果:
在cifar10数据集上,可以达到state-of-the-art的效果,而在cifar100,SVHN, MINST上面也达到了很好的效果
作者最后也进一步试验,强调了global average pooling和fc相似,都具有扮演着线性变换的作用,将特征图转化为特征向量,但前者相比较fc的方法效果更好
参考资料
https://arxiv.org/pdf/1312.4400.pdf
http://www.cnblogs.com/yinheyi/p/6978223.html
http://blog.csdn.net/hjimce/article/details/50458190
- 深度学习之基础模型-NIN
- 系统学习深度学习(十八)--NIN模型
- 深度学习——NIN
- 深度学习之基础模型---AlexNet
- 深度学习之基础模型-VGG
- 深度学习之基础模型—resNet
- 深度学习之基础模型-Inception-V3
- 深度学习之基础模型-mobileNet
- 深度学习之基础模型-Xception
- 深度学习之基础模型-FractalNet
- 深度学习之基础模型-ShuffleNet
- 深度学习之基础模型-DenseNet
- 深度学习之基础模型-PolyNet
- 深度学习之基础模型-SEP-Nets
- 深度学习之基础模型-总结
- 深度学习之基础模型—InceptionV1(GoogLeNet)
- 深度学习之基础模型-Inception-V2(BN)
- 深度学习之LeNet模型
- window高度的获取
- 扎心了!让测试人员心酸的五大谣传
- 状态记录
- java中泛型的作用
- 使用Thrfit RPC编写程序
- 深度学习之基础模型-NIN
- JAVA Arrays.sort()和Collectons.sort() 原理分析
- web.xml的某些知识点以及在springmvc下的某些配置
- Minimum
- 1071. 小赌怡情(15) PAT
- ThinkPHP5异步通知SDK详解
- (五)面向对象高级编程
- MaximumAverageSubarray
- 梯度下降(Gradient Descent)小结