拉格朗日对偶

对于如下约束的求最小值，我们称为原始优化问题
minwf(w)
s.t.gi(w)≤0,i=1,2,...,k
hi(w)=0,i=1,2,...,l

定义拉格朗日算符
L(w,α,β)=f(w)+∑ki=1αigi(w)+∑li=1βihi(w)

令
θP=maxα,β:αi≥0f(w)+∑ki=1αigi(w)+∑li=1βihi(w)
故有
minwθP(w)=minwmaxα,β:αi≥0L(w,α,β)

根据θP(w)的定义，易知w满足约束时，有θP=f(w)

令
θD(α,β)=minwL(w,α,β)
即有
maxα,β:αi≥0θD(α,β)=maxα,β:αi≥0minwL(w,α,β)

通过证明可以得到

d∗=maxα,β:αi≥0minwL(w,α,β)≤minwmaxα,β:αi≥0L(w,α,β)=p∗

在确定的情况下，有d∗=p∗

参考资料：
Stanford CS229《Machine learning》