拉格朗日乘子法和KKT条件
来源:互联网 发布:查看mysql端口号 编辑:程序博客网 时间:2024/06/06 04:25
拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法,在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。前提是:只有当目标函数为凸函数时,使用这两种方法才保证求得的是最优解。
对于无约束最优化问题,有很多经典的求解方法,参见无约束最优化方法。
拉格朗日乘子法
先来看拉格朗日乘子法是什么,再讲为什么。
minf(x)s.t.hi(x)=0i=1,2...,n
这个问题转换为
min[f(x)+n∑i=1λihi(x)]
其中λi≠0,称为拉格朗日乘子。
下面看一下wikipedia上是如何解释拉格朗日乘子法的合理性的。
现有一个二维的优化问题:
minf(x,y)s.t.g(x,y)=c
我们可以画图来辅助思考。
绿线标出的是约束g(x,y)=c的点的轨迹。蓝线是f(x,y)的等高线。箭头表示斜率,和等高线的法线平行。
从图上可以直观地看到在最优解处,f和g的法线方向刚好相反(或者说叫梯度共线),即
▽[f(x,y)+λ(g(x,y)−c)]=0λ≠0
而满足3的点同时又是4的解。
min F(x,y)=f(x,y)+λ(g(x,y)−c)
所以2和4等价。
新方程F(x,y)在达到极值时与f(x,y)相等,因为F(x,y)达到极值时g(x,y)−c总等于零。
KKT条件
先看KKT条件是什么,再讲为什么。
letL(x,μ)=f(x)+q∑k=1μkgk(x)
其中μk≥0,gk(x)≤0
∵μk≥0gk(x)≤0}=>μg(x)≤0
∴maxμL(x,μ)=f(x)
∴minxf(x)=minxmaxμL(x,μ)
上面的推导到此中断一下,我们看另外一个式子。
maxμminxL(x,μ)=maxμ[minxf(x)+minxμg(x)]=maxμminxf(x)+maxμminxμg(x)=minxf(x)+maxμminxμg(x)
这里的u和g都就向量,所以去掉了下标k。另外一些博友不明白上式中maxμminxf(x)=minxf(x)是怎么推出来的,其实很简单,因为f(x)与变量u无关,所以这个等式就是成立的。
又∵μk≥0gk(x)≤0}=>minxμg(x)={0ifμ=0org(x)=0−∞ifμ>0andg(x)<0
∴maxμminxμg(x)=0此时μ=0org(x)=0
∴maxμminxL(x,μ)=minxf(x)+maxμminxμg(x)=minxf(x)
此时μ=0org(x)=0联合(7),(8)我们得到minxmaxμL(x,μ)=maxμminxL(x,μ)
亦即L(x,μ)=f(x)+∑qk=1μkgk(x)μk≥0gk(x)≤0}=>minxmaxμL(x,μ)=maxμminxL(x,μ)=minxf(x)
我们把maxμminxL(x,μ)称为原问题minxmaxμL(x,μ)的对偶问题,上式表明当满足一定条件时原问题、对偶的解、以及minxf(x)是相同的,且在最优解x∗处μ=0org(x∗)=0。把x∗代入(6)得maxμL(x∗,μ)=f(x∗),由(8)得maxμminxL(x,μ)=f(x∗),所以L(x∗,μ)=minxL(x,μ),这说明x∗也是L(x,μ)的极值点,即∂L(x,μ)∂x|x=x∗=0。
最后总结一下:
L(x,μ)=f(x)+∑qk=1μkgk(x)μk≥0gk(x)≤0}=>{minxmaxμL(x,μ)=maxμminxL(x,μ)=minxf(x)=f(x∗)μkgk(x∗)=0∂L(x,μ)∂x|x=x∗=0
KKT条件是拉格朗日乘子法的泛化,如果我们把等式约束和不等式约束一并纳入进来则表现为:
L(x,λ,μ)=f(x)+∑ni=1λihi(x)+∑qk=1μkgk(x)λi≠0hi(x)=0μk≥0gk(x)≤0}=>{minxmaxμL(x,λ,μ)=maxμminxL(x,λ,μ)=minxf(x)=f(x∗)μkgk(x∗)=0∂L(x,λ,μ)∂x|x=x∗=0
注:x,λ,μ都是向量。
∂L(x,λ,μ)∂x|x=x∗=0表明f(x)在极值点x∗处的梯度是各个hi(x∗)和gk(x∗)梯度的线性组合。
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- KKT条件和拉格朗日乘子法
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 谷歌AutoML击败人类工程师,图像识别准确率达82%
- 曾患乳腺癌的MIT女教授,使用人工智能检测早期乳腺癌,准确率97%
- 拍人更美!谷歌工程师揭秘Pixel 2手机黑科技
- 运算能力提升百倍!英特尔联手Facebook发布首款神经网络处理器
- HDU1710 Binary Tree Traversals(DFS,二叉树的遍历)
- 拉格朗日乘子法和KKT条件
- ASP.NET内置对象
- 前端概念深入理解
- 数组循环题
- Visual Studio 2013如何调试工程下的LIB项目
- bash: rsync: command not found报错原因以及解决办法
- Java-NIO-Buffer-笔记
- tensorflow高阶教程:tf.dynamic_rnn
- C++中重载、重写(覆盖)和隐藏的区别实例分析