【CS231n winter2016 Lecture 6 (Training Neural Networks Part 3,update schemes/dropout and so on..)】

来源:互联网 发布:淘宝禁售拉卡拉 编辑:程序博客网 时间:2024/05/17 05:10

lecture 6 Neural Networks Part 3 Intro to ConvNets hd

outline:

SGD performes not so good in practice.

Momentum update ,物理解释很不错

Nesterov Momentum update

and so on…

二次优化的方法,Hessian矩阵要求逆,尤其是高维的时候,所以impratical

改进的

ensemble

dropout(regularization)

see the slides for detail..

0 0
原创粉丝点击