广义拉格朗日函数的理解

来源：互联网发布：具体怎么做seo 编辑：程序博客网时间：2024/06/05 15:35

为了求如下约束最优问题：

$\underset{x}{min}f(x)\ \ s.t. g(x)\leq0 \ \ (1)$

引入广义拉格朗日函数：

$L(x,\lambda) = f(x) +\lambda g(x)\ \ \lambda\geq0 \ \ (2)$

先需要证明：

$\underset{x}{min}f(x) \ \ s.t. \ \ g(x)\leq0 \Leftrightarrow \underset{x}{min}\ \underset{\lambda:\lambda\geq0}{max}L(x,\lambda) \ \ (4)$

网上有的博文对（4）式的证明不容易看懂，我证明如下：

首先将 $\max_{\lambda :\lambda \geq 0}{L(x,\lambda )}$ 记作函数 $P(x)$ 。

1）如果 $g(x)> 0$ ，由于 $\lambda$ 可以取任意大，因此这时函数 $P(x)$ 不可能取得最小值。因此函数 $P(x)$ 只有在 $g(x)\leq 0$ 时才可能取得最小值。

2）如果 $g(x)\leq 0$ ， $\max_{\lambda :\lambda \geq 0}{L(x,\lambda )}$ = $f(x)$ ，因此（4）式两边等价。

第二步来证明： $\max_{\lambda ;\lambda \geq0}{\min_{x}{L(x,\lambda )}} \leqslant \min_{x}{\max_{\lambda ;\lambda \geq0}{L(x,\lambda )}}$ (1)

由于原始问题和对偶问题均有最优值，所以可分别假设

$\max_{\lambda ;\lambda \geq0}{\min_{x}{L(x,\lambda )}}={L(x_{0},\lambda_{0})}$

$\min_{x}{\max_{\lambda ;\lambda \geq0}{L(x,\lambda )}}={L(x_{1},\lambda_{1})}$

那么，对于任意 $x$ 下式成立，

${L(x_{0},\lambda_{0})}\leq {L(x,\lambda_{0})}$ (2)

对于任意 $\lambda$ 下式成立，

${L(x_{1},\lambda_{1})}\geq {L(x_{1},\lambda)}$ (3)

所以，

${L(x_{1},\lambda_{1})}\geq {L(x_{1},\lambda_{0})}\geq {L(x_{0},\lambda_{0})}$ (4)

因此，(1)式成立。

0 0