机器学习中牛顿法与拟牛顿法
来源:互联网 发布:wordpress seo 编辑:程序博客网 时间:2024/06/05 04:34
提要:今天讲的牛顿法与拟牛顿法是求解无约束问题最优化方法的常用方法。
一 牛顿法
假设我们求下面函数的最小值:
假设f(x)具有连续的二阶的连续偏导数,假设第K次迭代值为xk的值,那么可将f(X)在xk附近进行二阶泰勒展开得到:
我们对上述公式求导可得:
假设其中可逆,我们就可以得到牛顿法的迭代公式为:
这样就可以得到牛顿法的迭代公式了。
牛顿法算法如下:
输入:目标函数f(X),梯度▽f(x),海赛矩阵H(x),精度要求ε;
输出:f(x)的极小点x*.
步骤一:取初始点x0,置k=0
步骤二:计算梯度▽f(x)
步骤三:||▽f(x)||〈ε,那么停止计算得到的x*=xk。
步骤四:计算H(x)
步骤五:
步骤6:转步骤二
牛顿法的缺点:牛顿法收敛速度快,但是要计算二阶偏导数矩阵及其逆阵,计算量过大。
二 拟牛顿法
拟牛顿法与原始牛顿法的区别在于增加了沿牛顿方向的一维搜索,其迭代公式为:
其中为牛顿方向,是由一维搜索的步长,也就是满足:
其实牛顿法就是阻尼牛顿法步长为1的特殊情况。
拟牛顿法算法:
输入:目标函数f(X),梯度▽f(x),海赛矩阵H(x),精度要求ε;
输出:f(x)的极小点x*.
步骤一:取初始点x0,置k=0
步骤二:计算梯度▽f(x)
步骤三:||▽f(x)||〈ε,那么停止计算得到的x*=xk。
步骤四:计算H(x)
步骤五:从xk出发,沿着dk方向作一维搜索,
步骤六:
步骤七:转步骤二
本文完。
阅读全文
0 0
- 机器学习中牛顿法与拟牛顿法
- 机器学习-牛顿法与源码实现
- 机器学习入门:牛顿法
- 机器学习之牛顿法
- 机器学习之牛顿法
- 牛顿法与拟牛顿法
- 牛顿法与拟牛顿法
- 牛顿法与拟牛顿法
- 牛顿法与拟牛顿法
- 牛顿法与拟牛顿法
- 牛顿法与拟牛顿法
- 机器学习中牛顿法/梯度下降法
- 【机器学习详解】解无约束优化问题:梯度下降、牛顿法、拟牛顿法
- 机器学习第四讲 牛顿下降法
- 机器学习——牛顿法
- 机器学习笔记——牛顿法
- 机器学习数学基础--牛顿法
- 优化学习率 - 2 - 牛顿法、拟牛顿法
- 关于java中Double类型的运算精度问题
- 常见浏览器兼容性问题与解决方案
- ACM 各大OJ平台以及题目分类
- richtTextBox用法
- double丢失精度的问题
- 机器学习中牛顿法与拟牛顿法
- c语言排序及优化
- C# 判断输入的是否是整型-正则表达式
- dubbo+maven+web工程启动报错java.lang.NoSuchMethodError: org.springframework.core.GenericTypeResolver.resol
- C# winform 避免窗体重复打开
- 辗转相除法
- Linux创建快捷方式(链接)命令ln
- Go语言程序的数组初始化
- 菜鸟朋友圈的相关接口介绍