拉格朗日 & KKT条件

来源：互联网发布：d3.js可视化编辑：程序博客网时间：2024/06/02 07:11

拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。（前提：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。）

如上所述，拉格朗日乘子法可以将等式约束优化问题转换为无约束优化问题，即将问题：

min f (x) s . t . h i (x) = 0, i = 1, 2, . . . n

转化为：

min f (x) + \sum i = 1 n λ i h i (x)

其中，

λi≠0，称为拉格朗日乘子。（关于为什么成立可以参考维基百科，或者这篇博文）

当遇到不等式约束的时候怎么办呢？这个时候就需要用到KKT条件，KKT条件是拉格朗日乘子法的泛化，使其可扩展到了不等式约束的优化问题的求解。他就是将问题：

min f (x) s . t . g k (x) ⩽ 0, k = 1, 2, . . . q

转化为一个极大极小问题：

L (x, u) = f (x) + \sum k = 1 q u k g k (x), u k ⩾ 0 max u min x L (x, u)

不明白为什么？没关系，下面先看两个证明（两个方向），

1、证明 minxf(x)=minxmaxuL(x,u)

因为，

u k ⩾ 0 g k (x) ⩽ 0} \to u g (x) ⩽ 0

所以，

max u L (x, u) = f (x)

于是，

min x f (x) = min x max u L (x, u)

2、证明

minxf(x)=maxuminxL(x,u)

max u min x L (x, u) = max u [min x f (x) + min x u g (x)] = max u min x f (x) + max u min x u g (x) = min x f (x) + max u min x u g (x)

上述式子中，

maxuminxf(x)因为

f(x)与

u无关，所以

maxuminxf(x)=minxf(x)。我们着重考察下后面个式子，因为

u k ⩾ 0 g k (x) ⩽ 0} \to min x u g (x) = {0, u = 0 或 g (x) = 0 - \infty, u > 0 且 g (x) < 0

所以，

max u min x u g (x) = 0, 此 时 有 u = 0 或 g (x) = 0

也就是说，

max u min x L (x, u) = max u [min x f (x) + min x u g (x)] = max u min x f (x) + max u min x u g (x) = min x f (x) + max u min x u g (x) = min x f (x)

上面两个证明，什么意思呢？也就是原始问题（不等式约束）转化为了两个等价的问题（无约束）：

min x f (x) = min x max u L (x, u) = max u min x L (x, u)

我们将

maxuminxL(x,u)称为原问题

minxmaxuL(x,u)的对偶问题。

有了KKT条件我们的原始问题如下求得

L (x, u) = f (x) + \sum k = 1 q u k g k (x) u k ⩾ 0 g k (x) ⩽ 0 ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \to ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ min x f (x) u k g k (x *) = 0 \partial L ( x , u ) \partial x | x = x * = 0 = min x max u L (x, u) = max u min x L (x, u)

同时，KKT条件是拉格朗日乘子法的泛化，如果我们把等式约束和不等式约束一并纳入进来则表现为：
这里写图片描述

拉格朗日乘子法和KKT条件

阅读全文

0 0