优化问题及其Lagrange对偶问题

本文图片来自http://shijuanfeng.blogbus.com/

优化和凸优化问题

优化问题

凸优化问题

Lagrange函数和对偶函数

对偶函数是凹函数

如果Lagrange函数关于x无下届，则对偶函数取值为−∞。因为对偶函数是一族关于(λ,v)的仿射函数的逐点下确界，所以即使原问题不是凸的，对偶函数也是凹函数。

对偶函数是原问题最优值的下界

设x˜是原文题的一个可行点，即fi(x˜)≤0且hi(x˜)=0。根据假设λ≥0，

L(x˜,λ,v)=f0(x˜)+g(λ,v)=infx∈D∑i=1mλifi(x˜)+∑i=1pvihi(x˜)≤0∑i=1mλifi(x˜)+∑i=1pvihi(x˜)≤f0(x˜)L(x,λ,v)≤L(x˜,λ,v)≤f0(x˜)

由于每一个可行点x˜都满足上式，得证。

Lagrange对偶问题

Lagrange对偶问题形式

Lagange对偶函数给出了原问题最优值p∗的一个下界。下面求解从Lagrange函数得到的最好下界

maximize g(λ,v)subject to λ≥0

满足λ≥0和g(λ,v)≥−∞的一组(λ,v)为对偶可行解。
对偶问题的最优解称为对偶最优解或最优Lagrange乘子。

Lagrange对偶问题是凸优化问题

极大化的目标函数是凹函数，且约束集合是凸集。对偶问题的凸性和原问题是否是凸优化问题无关。

弱对偶和强对偶

弱对偶

强对偶和Slater条件

强对偶和弱化Slater条件

互补松弛性和KKT条件

互补松弛条件

由于求和项∑iλ∗ifi(x∗)=0每一项都是非正，因此λ∗ifi(x∗)=0, i=1,...,m.
它对任意原问题最有解和对偶问题最优解都成立（当对偶性成立时）。进一步地
λ∗o>0⟹fi(x∗)=0

KKT优化条件

总结起来
- 广义拉格朗日的梯度为零
- 所有关于x和KKT乘子的约束都满足
- 不等式约束显示的“互补松驰性”:λf(x)=0

凸优化问题的KKT条件

优化问题中的KKT条件为具有强队对偶性的必要条件，而对于凸优化问题，KKT条件则是充要条件。

参考资料

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件http://blog.csdn.net/xianlingmao/article/details/7919597