Hinton Neural Network课程笔记9f:Mackay的设定正则化系数方法
来源:互联网 发布:华为 海思 媒体算法 编辑:程序博客网 时间:2024/05/17 07:31
课程简介
Geoffrey Hinton 2012年在coursera上开的网课:Neural Networks for Machine Learning。
课程笔记
以下内容基于一些基础知识点:例如MAP(Maximize a Posterior) ,正则项的贝叶斯解释等等。此部分内容因为涉及过多公式,暂时跳过,请参考Hinton Neural Network的课程9e或者自行搜索。
关于贝叶斯理论的部分可以参考Hinton Nerual Networks课程笔记9d:贝叶斯方法入门。
1. 正则项的贝叶斯解释以及系数组成
最终公式就是左下角的那个公式,其中C表示最后需要最小化的cost,E则是最小误差平方和等loss函数,而最后一项就是正则项。可以看到正则项系数由数据的方差和权重的方差组合而成。
2. Mackay方法
本质上就是在每次迭代之前估算数据以及权重的方差,从而设置正则项系数。
此方法Hinton认为Practical,虽然理论上有些dirty。Mackay于1990提出此方法,并用此方法赢得了几个比赛。
2.1. 数据方差的估算方法
就是误差的方差,即(
2.2. 权重方差的估算方法
初始的时候是人为自行设定,之后则为每次迭代之后求得的权重W的方差。
2.3. 缺点
理论上很dirty,是“经验贝叶斯理论”,即通过经验法求取贝叶斯先验(用数据求先验)。
2.4. 优点
- 不需要验证集来对正则项系数进行验证。
- 可以轻易的对于模型内部不同模块采用不同的正则项系数(如果采用交叉验证的话会非常非常麻烦)
0 0
- Hinton Neural Network课程笔记9f:Mackay的设定正则化系数方法
- Hinton Neural Network课程笔记10a:融合模型Ensemble, Boosting, Bagging
- Hinton Neural Network课程笔记11b: 利用Hopfield Net进行信息存储
- Hinton Neural Network课程笔记1a:为什么需要机器学习?
- Hinton Neural Networks课程笔记1b:神经网络模拟的大脑机理
- Hinton Neural Networks课程笔记1d:一个简单的机器学习实例
- Hinton Neural Networks课程笔记2c:感知机的几何解释
- Hinton Neural Networks课程笔记2d:为什么感知机的学习算法可以收敛
- Hinton Neural Networks课程笔记2e:感知机的局限性
- Hinton Neural Networks课程笔记3a:线性神经元的学习算法
- Hinton Neural Networks课程笔记3b:线性神经元的误差曲面
- Hinton Neural Networks课程笔记4c:softmax输出神经元
- Hinton Nerual Networks课程笔记9d:贝叶斯方法入门
- 李宏毅机器学习课程笔记9:Recurrent Neural Network
- Hinton Neural Networks课程笔记2a:三种主要的神经网络框架之前向网络、循环神经网络和对称网络
- Hinton Neural Networks课程笔记quiz 3:带有隐层的非线性神经网络不一定能学习线性函数
- Hinton Neural Networks课程笔记1e: 监督学习、强化学习、无监督学习,及其应用
- Hinton Neural Networks课程笔记2b:第一代神经网络之感知机
- javascript笔记整理系列
- app-bar-layout
- 性能测试分析
- ExpandableListView三级列表的实现
- 安装配置zabbix-server
- Hinton Neural Network课程笔记9f:Mackay的设定正则化系数方法
- 字符串转表方法
- Telecom服务
- zabbix简介及安装
- 开源项目地址
- Android 跳往 魅族 小米权限管理自启动(6.0)
- Oracle12c -Invisible Columns 测试
- ButterKnife失效的解决办法
- 为IObservable实现自己的运算符