最优化理论中的常用背景知识

一、最优化：

最优化就是给一个函数f(X)，求能使这个函数取得最大值或者最小值的X。

对于我们科研中，这个函数肯定是个多维函数了。也就是我们要求一个组值，或者说是求一个向量X={x1,x2,x3,...,xn}，使这个函数的值最大。

二、可微、可导、连续

可微函数：可微函数是指定义域内各点导数都存在的函数。

多元函数可微：多元函数各个元的偏导数都存在的函数。

在某点可微：一般来说，若X0是函数ƒ定义域上的一点，且ƒ′(X0)有定义，则称ƒ在X0点可微。

可微的几何意义：这就是说ƒ的图像在(X0, ƒ(X0))点有非垂直切线，且该点不是间断点、尖点。

可导：一元函数，可导即可微，可微即可导，二者等价

          多元函数，可导的含义是，各个偏导数存在且连续。而可微只能说明偏导数存在，所以多元函数可导必可微，可微不一定可导。

连续：连续即函数值不会发生突变，整个函数图像没有断点，这是最2b的理解方式。

          专业的理解就是左右极限都存在。

          可导一定连续，连续不一定可导，比如经典例子绝对值函数：|x|，在x=0出图像连续但不可导。

三、正定矩阵、负定矩阵、奇异矩阵

正定矩阵

定义：

一个n×n的实对称矩阵是正定的，当且仅当对于所有的非零实系数向量z，都有z^Tz > 0。其中z^T表示z的转置。

判定定理：

判定定理1：对称阵A为正定的充分必要条件是：A的特征值全为正。
判定定理2：对称阵A为正定的充分必要条件是：A的各阶顺序主子式都为正。
判定定理3：任意阵A为正定的充分必要条件是：A合同于单位阵。

负定矩阵：

(1)与正定矩阵相对应的，一个n×n的埃尔米特矩阵{\displaystyle M}是负定矩阵当且仅当对所有不为零的{\displaystyle x\in \mathbb {R} ^{n}}（或{\displaystyle x\in \mathbb {C} ^{n}}），都有：

{\displaystyle x^{*}Mx<0\,}

(2)A是正定矩阵，-A是负定矩阵

奇异矩阵

行列式为0的矩阵

四、驻点、鞍点、极值点

驻点：一阶导数为0的点。

鞍点：不是局部极值点的驻点，例如y=x^3在x=0处一阶导数为0但不是驻点。

判断极值点，根据海森矩阵H：

• 当H是正定矩阵时，临界点{\displaystyle x_{0}}是一个局部的极小值。
• 当H是负定矩阵时，临界点{\displaystyle x_{0}}是一个局部的极大值。
• H=0,需要更高阶的导数来帮助判断。
• 在其余情况下，临界点{\displaystyle x_{0}}不是局部极值。

五、凸函数和凹函数

对于一元函数

In mathematics, a real-valued function defined on an interval is called convex (or convex downward or concave upward) if the line segment between any two points on the graph of the functionlies above or on the graph, in a Euclidean space (or more generally a vector space) of at least two dimensions.

对于二元函数，

同理可以理解为经过函数图像上任意三个点的平面，都在函数图像上方或者与函数图像重合。

对于多元函数，

我认为可以理解成n元超平面与图像的位置关系，只是几何空间位置难以想象。

chulei：多元函数是凸函数十分难以判断

wiki：它的黑塞矩阵在凸集的内部是半正定的

凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。通过判定一个凸函数我们可以知道极值点是不是全局最优。