KKT条件--约束问题最优化方法
来源:互联网 发布:c语言字符串字符个数 编辑:程序博客网 时间:2024/05/22 03:03
KKT条件在约束条件下求解非线性规划问题很有用,是确定某点为最优点的一阶必要条件。而对于凸规划问题而言,KKT条件是局部极小点的一阶必要条件,同时也是充分条件,而且局部极小点就是全局极小点。考虑以下数学模型:
定理:
线性无关。若
第一种理解思路:
辅助概念:
1.
2.
3. 等式约束,如上面的
由(2)中第二个向量方程可知,当不等式约束
假设存在可行下降方向
由上面的辅助概念1可知,
由上面的辅助概念3可知,
由此可知,等式不成立,即假设不成立,
通常称
(3)式即为狭义拉格朗日函数关于
第二种理解思路:
其实可以从原问题的广义拉格朗日函数的最小最大问题出发。
于是求极值先对
再对x求导:
但是直接求不太好求,会通过求对偶问题:
但是
最后一步由KKT条件中的第二个和第三个条件得到。
第三种理解思路:
参考网上的资料,整理了一下从几何意义方面理解KKT条件。
- 以下二维决策变量情况的讨论参考自此
- 等式约束情况
考虑这个决策变量是二维平面内点(x,y)的优化问题:
max \ f(x,y)\\s.\ t.\ g(x,y)=c
我们在二维平面内画出两个函数的图像。由于缺少第三维,我们使用等高线来表示目标函数
图中画出了两条
其中
因此,我们通过观察可以得到优化取到最大值的条件:
- 不等约束的情况
上面仅仅考虑了等式约束的情况。那么含有不等式的约束情况下,
我们还是考虑一个和上面问题类似的问题:
我们同样在平面内画下这个问题的图像:
这个和之前的图不同之处在于:约束决定的可行区域由一条直线变成了一段带状区域。这个带状区域由两条边界
大家立刻可以从图中发现,这个问题的最优解和之前的等式约束情况下没有任何区别。也就是依然满足条件:
- 以下三维决策变量情况的讨论参考自此
考虑以下问题模型:
如上图,
根据共面的条件,我们可以推出:
也就是三维空间的最优性条件。
三维决策变量的不等式约束情况和高维情况(共体)可以此类推。
0 0
- KKT条件--约束问题最优化方法
- 约束最优化问题求解:拉格朗日乘子法和KKT条件
- 约束优化问题的KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子发与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 拉格朗日乘子和KKT条件 的最优化问题
- 优化问题与KKT条件
- 人工智能里的数学修炼 | 约束问题的优化求解:拉格朗日乘子法、KKT条件与对偶问题
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- 设计模式之适配器模式 Adapter
- LeetCode *** 83. Remove Duplicates from Sorted List
- GET URL设置值为true 和'true'的区别,me和'me'的区别
- ios触摸事件和手势识别
- String、StringBuffer和StringBuilder的区别(一)
- KKT条件--约束问题最优化方法
- Java集合详解(二):Map
- SDAU 搜索专题 13 A strange lift
- 仿百度壁纸客户端(四)——自定义上拉加载实现精选壁纸墙
- Spring 之 生命周期机制混合使用
- class file解析一
- React Native环境搭建
- 常用工具类集合
- VMWare的网络三种设置方式比较