最优化理论之牛顿法

来源：互联网发布：linux 写文件指令编辑：程序博客网时间：2024/06/06 03:41

1、泰勒展开式

泰勒展开式是用多项式来近似表示函数在某点周围的情况。

对于一个函数在x=a处的展开式，这个展开式在x=a附近对函数的逼近是最精确的，离a越远，这个公式就越不精确。实际函数值和多项式的偏差称为泰勒公式的余项。

2、方向导数和偏导数

方向导数（directional derivative）的通俗解释是：我们不仅要知道函数在坐标轴方向上的变化率（即偏导数），而且还要设法求得函数在其他特定方向上的变化率。而方向导数就是函数在其他特定方向上的变化率。

对于二维函数，任意方向的导数可以如下定义：

对于高维函数，我们可以同理推得，我们可以通过求得目标方向与各个方向之间的夹角，然后通过各维上的偏导数组合得到方向导数。

3、函数梯度：

对于一个多维函数，梯度是它的各界偏导数的值组成的向量。

函数{\displaystyle \varphi =2x+3y^{2}-\sin(z)} $\varphi=2x+3y^2-\sin (z)$ 的梯度为：

$\nabla \varphi = \begin{pmatrix}{\frac{\partial \varphi}{\partial x}}, {\frac{\partial \varphi}{\partial y}}, {\frac{\partial \varphi}{\partial z}}\end{pmatrix} =\begin{pmatrix}{2}, {6y}, {-\cos (z)}\end{pmatrix}$ 。

4、海森矩阵:一个多变量实值函数的二阶偏导数组成的方块矩阵

$H(f)={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\\\{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}$

5、牛顿法步骤:

0 0