[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
来源：互联网 发布：易金通软件客服电话 编辑：程序博客网 时间：2024/05/18 01:14
[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
Recipe of Deep Learning
在 training data上的performance不好
Deeper usually does not imply better
Vanishing Gradient Problem
ReLU（Rectified Linear Unit）
ReLU - variant
**那么除了ReLU有没有别的activation function了呢？
所以我们用 Maxout来根据training data自动生成activation function**
ReLU is a special cases of Maxout
Maxout
ReLU is a special cases of Maxout
More than ReLU
Maxout - Training
Adaptive Learning Rate
RMSProp
Hard to find optimal network parameters
Momentum（gradient descent 融入惯性作用）
所以，加了momentum后：
Adam
在testing data上performance不好
Early Stopping
Regularization
Regularization - Weight Decay
Dropout
Dropout- Intuitive Reason
Dropout is a kind of ensemble
阅读全文
1 0
- [机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
- [机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 为什么是深度学习？）
- [机器学习入门] 李宏毅机器学习笔记-37 (Deep Reinforcement Learning;深度增强学习入门)
- [机器学习入门] 李宏毅机器学习笔记-9 （“Hello world” of deep learning；初探深度学习）
- 机器学习-深度学习（deep learning）
- 李宏毅机器学习课程笔记3：Backpropagation、"Hello world" of Deep Learning、Tips for Training DNN
- [机器学习入门] 李弘毅机器学习笔记-7 （Brief Introduction of Deep Learning；深度学习简介）
- 机器学习笔记-Deep Learning
- 机器学习之深度学习(Deep Learning)
- 机器学习 -- Deep Learning
- 【机器学习】Deep Learning
- 李宏毅机器学习课程笔记10：Ensemble、Deep Reinforcement Learning
- [机器学习入门] 李弘毅机器学习笔记-17（Unsupervised Learning: Deep Auto-encoder；无监督学习：深度自动编码器）
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料
- Fit项目分页组件的编写
- Android创建对话框的两种方式
- Python re模块的正则表达式
- Ubuntu16.04 安装流程 -1 系统软件（201705）
- lec2 图像分类的方法
- [机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
- ubuntu16.04 安装cuda8.0 遇到的显卡驱动问题
- 三四、vue中slot是什么东西？
- RMI java 远程调用
- 之江学院校赛 qwb与学姐 最大生成树+LCA
- 008 使用MyBatis,easyUI实现CRUD操作样例-CUD(CRUD完毕)
- 文本相似度Shingling和Minhash算法
- Xcode9.0通过无线Wifi连接iPhone进行iOS开发调试
- pom文件中常见问题
