Jacobian矩阵、Hessian矩阵、特征值、特征向量
来源:互联网 发布:ubuntu安装qt5 编辑:程序博客网 时间:2024/05/01 05:42
转自:http://jacoxu.com/?p=146
1. Jacobian
在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日-1851年2月18日)命名;英文雅可比量”Jacobian”可以发音为[ja ˈko bi ən]或者[ʤə ˈko bi ən].
雅可比矩阵
雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.
假设
此矩阵表示为:
这个矩阵的第i行是由梯度函数的转置yi(i=1,…,m)表示的.
如果
雅可比行列式
如果m = n, 那么
在某个给定点的雅可比行列式提供了 在接近该点时的表现的重要信息. 例如, 如果连续可微函数
对于取向问题可以这么理解, 例如一个物体在平面上匀速运动, 如果施加一个正方向的力
2. 海森Hessian矩阵
在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下:
如果
其中
(也有人把海森定义为以上矩阵的行列式)海森矩阵被应用于牛顿法解决的大规模优化问题.
海森矩阵在牛顿法中的应用
一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.
1), 求解方程
并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解困难. 利用牛顿法, 可以迭代求解.
原理是利用泰勒公式, 在
求解方程
2), 最优化
在最优化的问题中, 线性最优化至少可以使用单纯形法(或称不动点算法)求解, 但对于非线性优化问题, 牛顿法提供了一种求解的办法. 假设任务是优化一个目标函数
这次为了求解
这个式子是成立的, 当且仅当
求解:
得出迭代公式:
一般认为牛顿法可以利用到曲线本身的信息, 比梯度下降法更容易收敛(迭代更少次数), 如下图是一个最小化一个目标方程的例子, 红色曲线是利用牛顿法迭代求解, 绿色曲线是利用梯度下降法求解.
在上面讨论的是2维情况, 高维情况的牛顿迭代公式是:
其中H是hessian矩阵, 定义见上.
高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性, 使得牛顿迭代求解的难度大大增加, 但是已经有了解决这个问题的办法就是Quasi-Newton method, 不再直接计算hessian矩阵, 而是每一步的时候使用梯度向量更新hessian矩阵的近似.
3. 特征值与特征向量
一矩阵A作用于一向量a,结果只相当于该向量乘以一常数λ。即A*a=λa,则a为该矩阵A的特征向量,λ为该矩阵A的特征值。
Hessian矩阵的特征值:就是形容其在该点附近特征向量方向的凹凸性,特征值越大,凸性越强。
- Jacobian矩阵、Hessian矩阵、特征值、特征向量
- Jacobian矩阵、Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- Jacobian矩阵和Hessian矩阵
- 招聘资源汇总
- ANDROID STUDIO汉化
- 【Studio】解决格式化时,注释部分没有缩进的问题
- 抽象类
- 找出php中可能有问题的代码行
- Jacobian矩阵、Hessian矩阵、特征值、特征向量
- 赠券收集者问题
- NOIP模板整理
- java excle导入 导出
- UCRT: VC 2015 Universal CRT, by Microsoft
- LoadDriverRegistry
- [操作系统]自动化集成部署udeployer 批量统一安装一键部署
- Volley中json请求POST
- mysql cmd 窗口乱码