Jacobian矩阵,Hessian矩阵和牛顿法
来源:互联网 发布:狼图腾知乎 编辑:程序博客网 时间:2024/06/06 16:48
转自 : http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/
Jacobian矩阵
在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式.
雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.
假设
本质上是一个列向量对列向量求偏微分。此矩阵表示为:
如果
Hessian矩阵
在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下:
如果f的所有二阶导数都存在, 那么f的海森矩阵即:
其中H(f)为:
海森矩阵在牛顿法中的应用
一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.
1.求解方程
并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解困难. 利用牛顿法, 可以迭代求解.
原理是利用泰勒公式, 在
求解方程
2. 最优化问题
在最优化的问题中, 线性最优化至少可以使用单纯形法(或称不动点算法)求解, 但对于非线性优化问题, 牛顿法提供了一种求解的办法. 假设任务是优化一个目标函数
这次为了求解
这个式子是成立的, 当且仅当
求解 :
得出迭代公式:
一般认为牛顿法可以利用到曲线本身的信息, 比梯度下降法更容易收敛(迭代更少次数), 如下图是一个最小化一个目标方程的例子, 红色曲线是利用牛顿法迭代求解, 绿色曲线是利用梯度下降法求解.
在上面讨论的是2维情况, 高维情况的牛顿迭代公式是:
其中H是hessian矩阵, 定义见上.
高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性, 使得牛顿迭代求解的难度大大增加, 但是已经有了解决这个问题的办法就是Quasi-Newton method, 不再直接计算hessian矩阵, 而是每一步的时候使用梯度向量更新hessian矩阵的近似.
- Jacobian矩阵,Hessian矩阵和牛顿法
- Jacobian矩阵,Hessian矩阵和牛顿法
- Jacobian矩阵,Hessian矩阵,牛顿法
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- startActivityForResult和setResult详解 onActivityResult
- Ubuntu 16.04搭建LAMP开发环境
- 服务启动后访问jsp页面显示源码
- 富文本的一些属性
- JSP页面默认编码格式为UTF-8设置
- Jacobian矩阵,Hessian矩阵和牛顿法
- 使用jpgraph绘制3D饼图
- 使用纯JDBC实现hibernate/mybatis的基本功能
- c++pp 7.13.6
- Android解析JSON
- 一个读取3DS文件的类CLoad3DS浅析Ⅱ
- 1114. Family Property (25)[并查集]
- 常见的内存溢出的三种情况
- springboot多个module间多套配置文件的问题