拉格朗日乘子法和KKT条件
来源:互联网 发布:网络之暴力法师 编辑:程序博客网 时间:2024/06/16 08:00
转载自:http://www.cnblogs.com/zhangchaoyang/articles/2726873.html#3592012
拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法,在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。前提是:只有当目标函数为凸函数时,使用这两种方法才保证求得的是最优解。
对于无约束最优化问题,有很多经典的求解方法,参见无约束最优化方法。
拉格朗日乘子法
先来看拉格朗日乘子法是什么,再讲为什么。
这个问题转换为
其中
,称为拉格朗日乘子。
下面看一下wikipedia上是如何解释拉格朗日乘子法的合理性的。
现有一个二维的优化问题:
我们可以画图来辅助思考。
绿线标出的是约束
的等高线。箭头表示斜率,和等高线的法线平行。
从图上可以直观地看到在最优解处,f和g的法线方向刚好相反(或者说叫梯度共线),即
而满足
的解。
所以
等价。
新方程
总等于零。
KKT条件
先看KKT条件是什么,再讲为什么。
其中
上面的推导到此中断一下,我们看另外一个式子。
这里的
无关,所以这个等式就是成立的。
又
联合
亦即
我们把
。
最后总结一下:
KKT条件是拉格朗日乘子法的泛化,如果我们把等式约束和不等式约束一并纳入进来则表现为:
注:
都是向量。
梯度的线性组合。
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- KKT条件和拉格朗日乘子法
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- kubernetes简单集群搭建
- Spring的源码以及常见jar包的源码查找方法
- SpringBoot配置devtools实现热部署
- java三种类加载器--jre/lib/ext扩展jar加载过程
- asp.net 利用 iis url重写 实现伪静态
- 拉格朗日乘子法和KKT条件
- 欢迎使用CSDN-markdown编辑器
- 一些配置文件
- Android中的sp和wp指针
- 基于深度学习的智能问答
- Centos7初始化脚本
- 函数实现两个数的交换
- hibernate的面试题
- Android实现ListView嵌套GridView实现购物规格选择