神经网络抵制过拟合神器:Dropout 手把手论文入门 — 深度学习 DL 番外篇
来源:互联网 发布:centos phpbrew 编辑:程序博客网 时间:2024/05/22 03:51
今天David 9要带大家读偶像Hinton等大牛的一篇论文,搞深度学习或者DL的朋友应该知道,那就是有名的Dropout方法。
学过神经网络的童鞋应该知道神经网络很容易过拟合。而且,如果要用集成学习的思想去训练非常多个神经网络,集成起来抵制过拟合,这样开销非常大并且也不一定有效。于是,这群大神提出了Dropout方法:在神经网络训练时,随机把一些神经单元去除,“瘦身”后的神经网络继续训练,最后的模型,是保留所有神经单元,但是神经的连接权重
废话少说,上原理图:
左边是标准神经网络,右边是使用Dropout的神经网络,可见只是连接度少了一些,并不影响模型继续训练。其实,Dropout动机和初衷非常有意思。
文章里也谈到,可以类比人类男性和女性的基因。人类通过成千上万年进化,依然保持着这样的繁衍方式:男人贡献一半基因序列,女人贡献一半基因序列,最后组成后代的完整基因序列。当我们观察男人基因序列中的一个基因片段,它不仅要和男人基因序列很好地组合与配合,在繁衍后代时,也要和女人的那一半基因序列组合和配合,这个较好的一个基因片段一定要在两个情况下都很好的适应才行,这正像神经网络中的一个神经元,它要在各个情况下都很好地适应训练,所有,我们要Dropout一些神经元啊!了解了吧~
再来关注一个神经元:
需要指出的是,在训练时,权重参数
接下来看一下,每层Dropout网络和传统网络计算的不同之处:
最后就是一些实验结果和对比了,来瞻仰下:
嘿嘿,这就是今天的Dropout入门啦,详细研究别忘了下载下面论文~
附论文下载:
- 神经网络抵制过拟合神器:Dropout 手把手论文入门 — 深度学习 DL 番外篇
- Dropout Learning - 防止深度神经网络过拟合
- 关于DL中的过拟合中的dropout
- 深度学习Deep Learning: dropout策略防止过拟合
- 浅谈深度学习尝常识:泛化、过拟合、Dropout、Attention
- 浅谈深度学习尝常识:泛化、过拟合、Dropout、Attention
- 深度学习lstm防止过拟合之dropout
- 深度学习:过拟合
- pytorch Dropout过拟合
- dropout防止过拟合
- dropout与过拟合
- 深度学习关键词之—过拟合
- 深度学习关键词之—过拟合
- 机器学习入门——过拟合
- TensorFlow学习---tf.nn.dropout防止过拟合
- 【转载】TensorFlow学习---tf.nn.dropout防止过拟合
- Dropout解决过拟合问题
- 浅谈 Dropout防止过拟合
- R语言之朴素贝叶斯算法应用
- [JllServer] CPU:I7_6700 MainBoard: ASUS_Z170_AR 安装时黑屏时的处理
- HDU 3689 (KMP+DP || 暴力+dp)
- Android之APK的下载安装
- hdu 5782 Cycle (2016多校第五场1002) 后缀数组
- 神经网络抵制过拟合神器:Dropout 手把手论文入门 — 深度学习 DL 番外篇
- C#控制台基础 helloworld之 用类中的EventHandler委托的事件输出
- 身份认证技术
- Fragment设计技巧
- Android OpenCV 实例笔记1--Jni及OpenCV环境的搭建
- 剑指Offer:树的子结构
- 修改pip源加速pip安装
- kafka简介
- 《HTML5从入门到精通中文学习教程》读书笔记1