Jacobian矩阵和Hessian矩阵
来源:互联网 发布:淘宝修正官方旗舰店 编辑:程序博客网 时间:2024/05/22 03:03
转载:http://jacoxu.com/?p=146
1. Jacobian
在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日-1851年2月18日)命名;英文雅可比量”Jacobian”可以发音为[ja ˈko bi ən]或者[ʤə ˈko bi ən].
雅可比矩阵
雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.
假设
此矩阵表示为:
这个矩阵的第i行是由梯度函数的转置yi(i=1,…,m)表示的.
如果
雅可比行列式
如果m = n, 那么
在某个给定点的雅可比行列式提供了 在接近该点时的表现的重要信息. 例如, 如果连续可微函数
对于取向问题可以这么理解, 例如一个物体在平面上匀速运动, 如果施加一个正方向的力
2. 海森Hessian矩阵
在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下:
如果
其中
(也有人把海森定义为以上矩阵的行列式)海森矩阵被应用于牛顿法解决的大规模优化问题.
海森矩阵在牛顿法中的应用
一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.
1), 求解方程
并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解困难. 利用牛顿法, 可以迭代求解.
原理是利用泰勒公式, 在
求解方程
2), 最优化
在最优化的问题中, 线性最优化至少可以使用单纯形法(或称不动点算法)求解, 但对于非线性优化问题, 牛顿法提供了一种求解的办法. 假设任务是优化一个目标函数
这次为了求解
这个式子是成立的, 当且仅当
求解:
得出迭代公式:
一般认为牛顿法可以利用到曲线本身的信息, 比梯度下降法更容易收敛(迭代更少次数), 如下图是一个最小化一个目标方程的例子, 红色曲线是利用牛顿法迭代求解, 绿色曲线是利用梯度下降法求解.
在上面讨论的是2维情况, 高维情况的牛顿迭代公式是:
其中H是hessian矩阵, 定义见上.
高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性, 使得牛顿迭代求解的难度大大增加, 但是已经有了解决这个问题的办法就是Quasi-Newton method, 不再直接计算hessian矩阵, 而是每一步的时候使用梯度向量更新hessian矩阵的近似.
[参考: Wikipedia]
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- list_for_each_entry深入理解
- VS2015重装不能修改安装路径
- LeetCode:274. H-Index
- LeetCode:121. Best Time to Buy and Sell Stock
- awk分隔符
- Jacobian矩阵和Hessian矩阵
- mysql主从复制之mysql-proxy实现读写分离
- systemd 介绍
- shell脚本如何连接mysql数据库
- Swift UITextView添加背景图片,设定光标位置
- 红黑树的实现
- Linux下卸载php mysql apache
- UML类图实例
- 安卓数据库优化策略