牛顿法和拟牛顿法
来源:互联网 发布:安畅网络 编辑:程序博客网 时间:2024/06/05 08:57
一。两种方法本质:
和梯度下降法的本质一样都是为了找到一个合适的最快的下降方向,然后以一定步长一步一步走到极值点
二。牛顿法:
1、传统牛顿法(数学中)
2、传统牛顿法在机器学习的推广:
机器学习中需要做的是,参考‘回归分析’
注意,上面需要重复若干次直到两次的参数相差不大
3、传统牛顿法的问题:
***********************************************************
关于上面Hessian矩阵正定时,才可以保证J()有极值的分析:
***********************************************************
4、牛顿法的优势:
收敛快,意味着2中循环不需要太多步,就可以达到极值
三。修正牛顿法:
1、牛顿法不稳定
也即当hessian矩阵出问题时,很可能算出来的‘牛顿方向’和曲线切向(梯度方向)差别很大,此时这个方向不应该作为下降方向,而应该使用梯度方向
2、方法:
每到一个点计算其‘牛顿方向’和‘梯度方向’,二者夹角过大,则使用梯度方向,否则使用牛顿方向
四。拟牛顿法:
由二 3 可知,hessian矩阵是最大的麻烦(求对向量二阶导),我们可以想办法找一个‘替代矩阵B’
这样B可以近似取代H(相当于割线代替切线)
但是,我们在不知道第k个点牛顿方向之前,不会直到第k+1个点是什么,所以上面的公式不实用。
但是我们可以基于这个公式然后认为每一个Bk,可以不由上面这个公式求出,而是由前一个B(k-1),迭代出。
也即:
其中,△是一个低秩矩阵
求△的方法:
(1)SR1:
其的秩为1:
(2)BFGS:
(3)DFP:
(4)broyden:
五。牛顿法的进一步修正:
0 0
- 牛顿法和拟牛顿法
- 牛顿法和拟牛顿法
- 牛顿法和拟牛顿法
- 牛顿法和拟牛顿法
- 牛顿法和拟牛顿法
- 牛顿法和拟牛顿法
- 牛顿法和拟牛顿法相关
- 4.牛顿法和拟牛顿算法
- 优化方法之 牛顿法和拟牛顿法
- 统计学习方法-牛顿法和拟牛顿法
- 优化算法——牛顿法和拟牛顿法
- 梯度下降法和拟牛顿法(三):牛顿法和拟牛顿法
- 欧拉法和牛顿法
- 梯度下降、牛顿法、拟牛顿法
- 牛顿法与拟牛顿法
- 梯度下降、牛顿法、拟牛顿法
- 牛顿法与拟牛顿法
- 牛顿法与拟牛顿法
- JAVA wait(), notify(),sleep详解
- Nginx安装部署
- android SDK manager 无法获取更新版本列表
- ORACLE SQLPLUS的安全性
- jQuery根据元素值删除数组元素
- 牛顿法和拟牛顿法
- 图片无损压缩 图片无损等比例缩放
- 第十二周 项目二-OJ平台题目中多种输入形式的处理---以某个特殊输入为结束标志(3)刑警的射击成绩
- iOS使用NSMutableAttributedString 实现富文本(不同颜色字体、下划线等)
- 第七话-代理模式
- AudioSession详解
- Android中SQLite应用详解
- C#学习之接口
- Process 和 ProcessBuilder 区别