暴力拆解《Numerical Optimization》之器材准备（数学知识补充）

来源：互联网发布：淘宝口令怎么转换链接编辑：程序博客网时间：2024/05/01 18:10

1.Jacobian矩阵和Hessian矩阵

Jacobian矩阵：

假设有 $y=(y_{1},y_{2},...y_{m})^{T}$ ， $x=(x_{1},x_{2},...x_{n})^{T}$ ，那么，定义Jacobian矩阵为y对x的导数，为：
$\begin{bmatrix} \frac{\partial y_{1}}{\partial x_{1}} & \frac{\partial y_{2}}{\partial x_{1}} & ... &\frac{\partial y_{m}}{\partial x_{1}} \\ \frac{\partial y_{1}}{\partial x_{2}} & \frac{\partial y_{2}}{\partial x_{2}}& ... &\frac{\partial y_{m}}{\partial x_{2}} \\ & ... &... & \\ \frac{\partial y_{1}}{\partial x_{n}}& \frac{\partial y_{2}}{\partial x_{n}} & ...& \frac{\partial y_{m}}{\partial x_{n}} \end{bmatrix}$
特别的，当m = 1时，我们所得到的Jacobian矩阵为梯度(gradient)： $(\frac{\partial y}{\partial x_{1}},\frac{\partial y}{\partial x_{2}},...,\frac{\partial y}{\partial x_{n}})^{T}$

Hessian矩阵：

Hessian矩阵为梯度 $(\frac{\partial y}{\partial x_{1}},\frac{\partial y}{\partial x_{2}},...,\frac{\partial y}{\partial x_{n}})^{T}$ 对 $x=(x_{1},x_{2},...x_{n})^{T}$ 的二阶导，为：
$\begin{bmatrix} \frac{\partial^{2} y}{\partial {x_{1}}^{2}} & \frac{\partial^{2} y}{\partial x_{1}\partial x_{2}} &... &\frac{\partial^{2} y}{\partial x_{1}\partial x_{n}} \\ \frac{\partial^{2} y}{\partial x_{1}\partial x_{2}} & \frac{\partial^{2} y}{\partial {x_{2}}^{2}}&... & \frac{\partial^{2} y}{\partial x_{2}\partial x_{n}}\\ & ... &... & \\ \frac{\partial^{2} y}{\partial x_{1}\partial x_{n}} & \frac{\partial^{2} y}{\partial x_{2}\partial x_{n}} &... &\frac{\partial^{2} y}{\partial x_{n}\partial x_{n}} \end{bmatrix}$
Hessian矩阵为对称矩阵。

2.几个常用的矩阵求导公式

$\begin{bmatrix} y &\frac{\partial y}{\partial x} \\ Ax & A\\ x^{T} &x \\ x^{T}x & 2x\\ x^{T}Ax &Ax+A^{T}x \end{bmatrix}$

3.链式求导法则

若 $y = y(x),z=z(y)$ ，那么：
$\frac{\partial z}{\partial x}=\frac{\partial y}{\partial x}\frac{\partial z}{\partial y}$
我们来试试下面这道题，其中 $f_{k}$ 是一个关于x的函数，计算下列函数对 $p$ 的导数：
$f(x_{k}+p)\approx f_{k}+p^{T}\bigtriangledown f_{k}+\frac{1}{2}p^{T}\bigtriangledown ^{2}f_{k}p$
令其导数为0，试试看你能不能算出下面的答案：
$p_{k}=-\left ( \bigtriangledown^{2} f_{k} \right )^{-1}\bigtriangledown f_{k}$
这个公式我们将在后面频繁的使用到，不妨记下来。

4.步长 $\alpha$ 的取值

对于目标函数
$\varphi (x)=g^{T}x+\frac{1}{2}x^{T}Bx$

当下降方向一定时，在没有任何约束条件的情况下，步长 $\alpha$ 的最佳取值。

将 $x_{k+1}=x_{k}+\alpha p$ 代入目标函数，然后对步长 $\alpha$ 进行求导，令导数为零，即可解出：
$\alpha =-\frac{\triangledown \varphi^{T} (x_{k})p_{k}}{p_{k}^{T}Bp_{k}}$

如有觉得上面有错误，或者有疑问，请评论，我们一起探讨。Thanks for your patience! :)

0 0