迭代求解最优化问题——最小二乘问题、高斯牛顿法
来源:互联网 发布:mac word转pdf错误 编辑:程序博客网 时间:2024/04/29 17:40
最小二乘问题
最小二乘问题是应用最广泛的优化问题,它的一般形式如下:
该问题的损失函数为
线性最小二乘问题
线性最小二乘问题是最简单的最小二乘问题,它的一般形式如下:
线性最小二乘问题的求解很容易,
令
对它求导并且令导数为零得到
解得
熟悉线性回归模型的话就可以发现,这就是线性回归模型参数的解析解。
非线性最小二乘问题
上面的问题中有
而许多最小二乘问题的残差函数并不是线性的,此类问题称为非线性优化问题。
对于非线性优化的问题当然可以结合具体的残差函数进行分析,但是对于一般的函数,我们也可以通过将非线性函数进行线性化的方式进行迭代求解。具体来说,由泰勒展开
求解
由上面线性最小二乘问题的推导可以得出此问题的解为
于是通过不断迭代
高斯牛顿法
上述使用迭代求解非线性最小二乘问题的方法称为高斯牛顿法。它是牛顿法求解非线性最小二乘问题时的一个特例。
事实上,对损失函数:
使用牛顿法有
H为S对
显然
在此我们假设在非线性最小二乘问题中残差函数的二次偏导的作用是不明显的,于是我们可以将这一项省略,于是得到
带入牛顿法的计算公式,我们有
由此,我们就从另一个角度推导出了高斯牛顿法。
阅读全文
0 0
- 迭代求解最优化问题——最小二乘问题、高斯牛顿法
- 迭代求解最优化问题——梯度下降、牛顿法
- 牛顿法求解最小二乘问题(线性回归)
- 非线性最优化(二)——高斯牛顿法和Levengerg-Marquardt迭代
- 高斯牛顿迭代求解非线性回归问题
- 迭代求解最优化问题——步长确定
- 最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?
- 最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?
- 回归--非线性最小二乘-高斯牛顿法
- 迭代求解最优化问题——信赖域方法
- 漫步最优化三十四——高斯-牛顿法
- matlab_最小二乘优化问题
- 牛顿法及牛顿法求解优化问题
- 最小二乘问题
- SVD(奇异值分解)及求解最小二乘问题
- SVD(奇异值分解)及求解最小二乘问题
- 二分逼近/牛顿迭代——一元高次非线性方程求解
- 数值计算——线性最小二乘问题
- vim 删除一整块,vim 删除一整行
- vuex + axios 发送请求
- JFinal 报错 init datasource error, url: jdbc:mysql://localhost........
- Java面试常见算法
- HIVE小检验:
- 迭代求解最优化问题——最小二乘问题、高斯牛顿法
- Cg Programming/Per-Fragment Operations逐片元操作
- 29、C#里面多选框CheckBox的属性和事件
- Skyline加载Oracle Spatial数据表出错 COMException (0x80040202): XML Error
- redis-sentinel安装部署
- 注解代替枚举
- Android Fragment报错:java.lang.RuntimeException: Unknown animation name: objectAnimator
- windows下使用nmake编译
- django redis使用密码