Dropout: A Simple Way to Prevent Neural Networks from Overtting(泛读)
来源:互联网 发布:音乐谱曲软件 编辑:程序博客网 时间:2024/06/06 11:40
一.文献名字和作者
Dropout: A Simple Way to Prevent Neural Networks from Overtting
二.阅读时间
2014年11月19日
三.文献的贡献点
这篇文章主要还是复述了一遍那篇引入dropout的文章《Improving neural networks by preventing co-adaptation of feature detectors》里面的观点:1.Dropout能够克服Overfitting,同时也是一种能够高效整合不同网络结构的技术;2.使用权值梯度的L2模的上限能够获得比使用权值的L2模的惩罚项更好的效果,这样也能叫做max-norm惩罚项。
使用Dropout的训练过程和测试过程可以用下图表示,在训练过程,每一个隐藏层神经元以概率p的形式进行激活,而在测试过程中,所有的隐藏层神经元都进行激活,但是,每一个隐藏层神经元的输出都乘以p。
相比于DAEs,dropout主要是用在有监督训练的过程中,其主要思想也是有借鉴DAEs的感觉。
在使用预训练得到的网络进行Dropout,需要将获得的权值乘以1/p,这样才可以保持在使用Dropout的过程中,神经与的激活和预训练过程程度一样。
用于避免神经网络Overfitting的惩罚方法有几种:L2衰减,lasso,KL稀疏和最大模惩罚。
对于Dropout来说,一个附件的作用就是能够使得隐藏层神经元出现稀疏性。
作者也提出了一个Dropout Restricted Boltzmann Machines,具体内容还没自己看,mark一下,以后用到DNN的时候再来深入研究下。
作者也发现了,使用Dropout的缺点就是会使得训练时间增加,是没使用Dropout网络的2-3倍,因此,加速Dropout也是未来一个研究点。一个在减少时间的同时也获得dropout效果的方法就是加入一个和Dropout效果相同的惩罚项。
版权所有,欢迎转载,转载请注明出处,谢谢
0 0
- Dropout: A Simple Way to Prevent Neural Networks from Overtting(泛读)
- Dropout: A Simple Way to Prevent Neural Networks from Overfitting
- Dropout:A Simple Way to Prevent Neural Networks from Overfitting
- 论文笔记2——Dropout:A simple way to prevent neural networks from overfitting
- 读Dropout : A simple way to prevent neural networks from overfitting
- Dropout: A Simple Way to Prevent Neural Networks from Overtting 论文阅读
- A Quick Introduction to Neural Networks
- A Quick Introduction to Neural Networks
- A SIMPLE WAY TO USE SELECT (socket)
- a simple way ,to programing or writting!
- A simple way to cure sleepless
- Where to apply dropout in recurrent neural networks for handwriting recognition?
- Is-there-any-way-to-prevent-an-android-app-from-being-removed
- Scalable Object Detection using Deep Neural Networks(泛读)
- Convolutional Neural Networks for No-Reference Image Quality Assessment(泛读)
- Large-scale Video Classification with Convolutional Neural Networks(泛读)
- ImageNet Classification with Deep Convolutional Neural Networks泛读总结
- A way to get filename from batch
- NYOJ 915 +-字符串【贪心】
- 5分钟搞定内存字节对齐
- NYOJ 218 Dinner
- 实现二叉树中序Iterator
- 类在内存中的分配问题
- Dropout: A Simple Way to Prevent Neural Networks from Overtting(泛读)
- ios+openflow 问题
- 原码, 反码, 补码 详解
- 22本数据分析、挖掘的好书推荐——干货分享
- c++中vector地址相关问题
- MFC编程实例(1)――枚举文件夹下的所有文件。
- 学习路上的艰辛与快乐
- 数组名取地址所算数运算应注意的"trap"
- HDU's ACM 1521 排列组合