漫步最优化十五——凸函数优化

你在穿山越岭的另一边，
而我也在没有尽头的孤独路上前行。
试着体会错误，试着忍住眼泪，
可是该有的情绪根本逃不开。
我知道逃避是没有用的，
但是我还会记得你的关心与爱。
——畅宝宝的傻逼哥哥

定理1：如果f(x)是定义在凸集Rc上的凸函数，那么

1. f(x)取最小值构成的点集合Sc是凸集；
2. 任何f(x)的局部极小都是全局极小。

证明：(a)如果F∗是f(x)的极小值，那么Sc={x:f(x)≤F∗,x∈Rc}是凸集。

(b)如果x∗∈Rc是局部极小值，但存在全局极小点x∗∗∈Rc使得

f(x∗∗)<f(x∗)

那么在直线x=αx∗∗+(1−α)x∗

f[αx∗∗+(1−α)x∗]≤αf(x∗∗)+(1−α)f(x∗)<αf(x∗)+(1−α)f(x∗)

或者

f(x)<f(x∗)for all α

这与x∗是局部极小值相矛盾，因此在凸集上的任何局部极小值是全局极小值。

定理2：如果f(x)∈C1是凸集Rc上的凸函数，且存在点x∗使得对所有x1∈Rc

g(x∗)Td≥0whered=x1−x∗

，那么x∗是f(x)的全局极小值。

证明：根据上篇文章的定理可知

f(x1)≥f(x∗)+g(x∗)T(x1−x∗)

其中g(x∗)是f(x)在点x=x∗处的梯度。因为

g(x∗)T(x1−x∗)≥0

所以

f(x1)≥f(x∗)

所以x∗是局部极小值，根据定理1可知x∗也是局部极小值。

同样的，如果f(x)是严格凸函数且

g(x∗)Td>0

那么x∗是强全局极小值。

上面的定理说明，如果f(x)是凸函数，那么x∗是全局极小值的一阶充分条件变成了了必要条件。

因为单变量的凸函数形状像字母U，而二元凸函数像个碗，所以没有像定理1，2那样表征凸函数极大值的定理，然而，下面的定理是有用的。

定理3：如果f(x)是定义在有界闭的凸集Rc上，那么如果f(x)在Rc上有极大值，它一定在Rc的边界上。

证明：如果点x在Rc的内部，那么我们可以得出一条通过x且与边界相交两点x1,x2的直线，这是因为Rc是有界闭集合。因为f(x)是凸函数，所以存在α,0<α<1使得

x=αx1+(1−α)x2

且

f(x)≤αf(x1)+(1−α)f(x2)

如果f(x1)>f(x2)，那么

f(x)<αf(x1)+(1−α)f(x1)=f(x1)

如果

f(x1)<f(x2)

，那么

f(x)<αf(x2)+(1−α)f(x2)=f(x2)

接下来如果

f(x1)=f(x2)

那么

f(x)≤f(x1)andf(x)≤f(x2)

显然，所有可能的极大值都发生在Rc的边界上。

这个定理图示如图1。

图1