Jacobian矩阵和Hessian矩阵简析
来源:互联网 发布:广州淘宝拍摄基地在哪 编辑:程序博客网 时间:2024/05/24 05:22
Jacobian矩阵
在向量分析中,雅可比(Jacobian)矩阵是一阶偏导数以一定方式排列成的矩阵,其行列式成为雅可比行列式。
雅可比矩阵
雅可比矩阵的而重要性在于它体现了一个可微方程与给出点的最优线性逼近。因此,雅可比矩阵类似于多元函数的导数。
假设
此矩阵表示为:
这个矩阵的第i行是由梯度函数的转置
如果
雅可比行列式
如果
在某个给定点的雅可比行列式提供了 在接近该点时的表现的重要信息. 例如, 如果连续可微函数
对于取向问题可以这么理解, 例如一个物体在平面上匀速运动, 如果施加一个正方向的力
Hessian矩阵
在数学中,海森矩阵(Hessian matrix)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,此函数如下:
如果f的所有二阶导数都存在,那么
其中
(也有人把海森定义为以上矩阵的行列式)海森矩阵被应用于牛顿法解决的大规模优化问题。
海森矩阵在牛顿法中的应用
一般来说,牛顿法主要应用在两个方面:
- 求方程根
- 最优化问题
1. 求方程根
并不是所有的方程都有求根公式,或者求根公式很复杂,求导求解困难。利用牛顿法,可以迭代求解。原理是泰勒公式,展开到一阶,即
多元函数的泰勒(Taylor)展开式
求解方程
2.最优化
在最优化的问题中,例如曲线拟合问题,一般分为线性问题和非线性优化问题。基于最小二乘法的思想可以使用不同的方法进行解决。相关介绍请参考我的另一篇博客:
最小二乘法和梯度下降法的一些总结
对于非线性优化问题,牛顿法提供了一种求解的方法。假设任务是优化一个目标函数
为了求解
当且仅当
求解:
得出迭代公式:
一般认为牛顿法可以利用到曲线本身的信息, 比梯度下降法更容易收敛(迭代更少次数), 如下图是一个最小化一个目标方程的例子, 红色曲线是利用牛顿法迭代求解, 绿色曲线是利用梯度下降法求解。
在上面讨论的是2维情况, 高维情况的牛顿迭代公式是:
其中H是hessian矩阵, 定义见上。
高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性,使得牛顿迭代求解的难度大大增加,但是已经有了解决这个问题的办法就是Quasi-Newton method或者LM算法,不再直接计算hessian矩阵,而是每一步的时候使用梯度向量更新hessian矩阵的近似。
原文出处
- Jacobian矩阵和Hessian矩阵简析
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- 成为excel高手必须掌握的54个函数
- 在字符串指定位置插入字符串
- C++抽象编程——递归策略(3)——生成排列数(1)
- log4j.jar log4j.properties 配置与使用
- 404. Sum of Left Leaves
- Jacobian矩阵和Hessian矩阵简析
- 检测字符串中是否有字符重复
- 一些扎记
- JavaScript详解
- ZOJ1002
- 第四次上机实验--输出星号图
- 类加载,__construct(),
- android_WebView截图
- Leetcode -- 27. Remove Element