拉格朗日乘子法入门

待优化问题为：

拉格朗日乘子为：

那么就将约束条件和非约束条件融合在一起表述。原因如下：该式子的目的是，找到合适的α和β，让L(w,α,β)的值最大。如果不满足约束条件，那么只要使α或β无穷大，该式子就趋于无穷大。如果满足约束条件，hi(w)=0，因此L(w,α,β)最后一项就为0。∵ gi(w)<0，所以L(w,α,β)最大值就是f(w)。

因此minw f(w)即就是求该式的值，定义该式是原始问题。

通常情况，原始问题比较难以求解。因此，在某些特定条件下（KKT条件），我们可以用比较好求解的对偶问题来解决原始问题。

对偶问题

 

定义：

对其取最大值，即给出对偶优化问题，定义为d*：

从公式上看，对偶问题就是把原始问题中的min，max换了顺序。

 

可得：

 

原始问题和对偶问题获得相同解的条件：

 

令f为凸函数（凸函数的hessian 矩阵是半正定的，H>=0，即开口朝上的碗状函数）

假设hi为仿射函数，即

假设gi是严格可执行的，即存在w，使得对于所有i，gi(w)<0

在上述条件下，存在w*，α*，β*，其中w*是原始问题的解，α*，β*是对偶问题的解，并且：

此外，还要满足条件：

这些条件被称为KKT互补条件。