漫步最优化十——极值类型

深夜里，你不断徘徊在我的心田，
你的每一句誓言都在耳边回荡，
你闪动的双眼隐藏着你的羞涩。
天天想你，
天天守住一颗心，
我会把最好的爱留给你。
——畅宝宝的傻逼哥哥

函数的极值是它的极大值与极小值，函数取极小值(极大值)的点称为极小值(极大值)点，有几种不同类型的极小值点(极大值点)，即局部或全局，弱或强。

定义1：对点x∗∈R，其中R是可行域，如果存在ϵ>0使得如果

x∈R,∥x−x∗∥<ϵ

则

f(x)≥f(x∗)

，那么称该点为弱局部极小值点。

定义2：如果对所有x∈R,f(x)≥f(x∗)，那么称点x∗∈R为f(x)的弱全局极小值点。

如果点x∗满足定义2，那么自然满足定义1，所以全局极小值点也是局部极小值点。

定义3：如果定义1或定义2中的大于等于改成大于

f(x)>f(x∗)

，那么称x∗为强局部(或全局)极小值点。

E2中的强全局极小如图1所示。

弱或强与局部或全局极大值点通过反转一下上面的符号即可。

例1：图2中函数的可行域定义为集合

R={x:x1≤x≤x2}

，求出最小值点。

解：函数在点B有弱局部极小值，在A,C,D有强局部极小值，在C有强全局极小值。

图1

对于一般的最优化问题，我们原则上是找f(x)的全局极小值。实践中，优化问题可能有两个或更多的局部极小值，因为优化算法一般都是从解的估计值开始，不断迭代，最后会收敛到一个值，那么其他的局部极小就会错过。如果错过了全局极小，那么我们得到的是次最优解，当然也可能得不到。这个问题通过多运行几次优化算法且从不同的初始值开始，可能会找出几个不同的局部极小，如果该方法成功，那我们找出里面最小的值作为最佳极小值点，虽然从实际角度可以接受这样的街，但是无法保证达到全局极小值，因此处于简便，一般优化问题中的最小化f(x)解释为找f(x)的局部极小值。

对于某些特殊问题，也就是f(x),R满足一些凸的性质，f(x)的任何局部极小也是f(x)的全局极小。对这类问题可以保证最优解。

图2