拉格朗日乘子法与KKT条件
来源：互联网 发布：打豆豆小游戏优化版 编辑：程序博客网 时间：2024/06/08 01:14
拉格朗日乘子法和KKT条件
拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。
对于无约束最优化问题，有很多经典的求解方法，参见无约束最优化方法。
拉格朗日乘子法
先来看拉格朗日乘子法是什么，再讲为什么。
这个问题转换为
其中 
，称为拉格朗日乘子。
下面看一下wikipedia上是如何解释拉格朗日乘子法的合理性的。
现有一个二维的优化问题：
我们可以画图来辅助思考。
绿线标出的是约束
的等高线。箭头表示斜率，和等高线的法线平行。
从图上可以直观地看到在最优解处，f和g的法线方向刚好相反（或者说叫梯度共线），即
而满足
的解。
所以
等价。
新方程
总等于零。
KKT条件
先看KKT条件是什么，再讲为什么。
其中 
上面的推导到此中断一下，我们看另外一个式子。
这里的
无关，所以这个等式就是成立的。
又
联合
亦即
我们把
。
最后总结一下：
KKT条件是拉格朗日乘子法的泛化，如果我们把等式约束和不等式约束一并纳入进来则表现为：
注：
都是向量。
阅读全文
0 0
- 拉格朗日乘子法与KKT条件
- 拉格朗日乘子法与KKT条件
- 拉格朗日乘子法与KKT条件
- 关于拉格朗日乘子法与KKT条件
- 关于拉格朗日乘子法与KKT条件
- 砥志研思SVM(二) 拉格朗日乘子法与KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 数据结构-队列
- 动态规划初步_数字三角形（递归，递推，数字化搜索）
- [leetcode]657. Judge Route Circle
- 最小生成树 klskr 模板题 hd 1863
- 15. ar
- 拉格朗日乘子法与KKT条件
- Havel-Hakimi定理
- SASS界面编译工具——Koala的使用
- 字符串数组
- 图中两个点之间的路线 -LintCode
- 注解Annotation
- ViewPager以及ViewFlipper的简单应用
- 利用mybatis生成pojo，dao层，xml文件的相关配置
- 非极大值抑制原理
