约束优化方法之拉格朗日乘子发与KKT条件
来源:互联网 发布:郑大网络远程教育中心 编辑:程序博客网 时间:2024/05/21 08:42
引言
本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可以直接应用拉格朗日乘子法去求取最优值;对于含有不等式约束的优化问题,可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,所以本文称拉格朗日乘子法得到的为可行解,其实就是局部极小值,接下来从无约束优化开始一一讲解。
无约束优化
首先考虑一个不带任何约束的优化问题,对于变量
,无约束优化问题如下:
该问题很好解,根据 Fermat 定理,直接找到使目标函数得 0 的点即可 即
沿负梯度方向逐步逼近极小值点。
等式约束优化
当目标函数加上约束条件之后,问题就变成如下形式:
约束条件会将解的范围限定在一个可行域,此时不一定能找到使得
,构建 Lagrangian 如下:
求解方法如下:首先对 Lagrangian 关于
求 :
令导数为 0 ,求得
只有三种情况,相交、相切或者没有交集,没交集肯定不是解,只有相交或者相切可能是解,但相交得到的一定不是最优值,因为相交意味着肯定还存在其它的等高线在该条等高线的内部或者外部,使得新的等高线与目标函数的交点的值更大或者更小,这就意味着只有等高线与目标函数的曲线相切的时候,才可能得到可行解.
因此给出结论:拉格朗日乘子法取得极值的必要条件是目标函数与约束函数相切,这时两者的法向量是平行的,即
所以只要满足上述等式,且满足之前的约束
,即可得到解,联立起来,正好得到就是拉格朗日乘子法。这里只是直观展示了一下拉格朗日乘子法的几何推导 ,并没有给出详细的证明。
不等式约束优化
当约束加上不等式之后,情况变得更加复杂,首先来看一个简单的情况,给定如下不等式约束问题:
对应的 Lagrangian 与图形分别如下所示:
这时的可行解必须落在约束区域
之内,下图给出了目标函数的等高线与约束:
由图可见可行解
的区域里取得:
- 当可行解
- 即边界上,此时等价于等式约束优化问题.
当约束区域包含目标函数原有的的可行解时,此时加上约束可行解扔落在约束区域内部,对应
上。下图分别描述了两种情况,右图表示加上约束可行解会落在约束区域的边界上。
以上两种情况就是说,要么可行解落在约束边界上即得
消去约束即可,所以无论哪种情况都会得到:
还有一个问题是
是落在约束区域的边界上的,这时可行解应尽量靠近无约束时的解,所以在约束边界上,目标函数的负梯度方向应该远离约束区域朝向无约束时的解,此时正好可得约束函数的梯度方向与目标函数的负梯度方向应相同:
上式需要满足的要求是拉格朗日乘子
,这个问题可以举一个形象的例子,假设你去爬山,目标是山顶,但有一个障碍挡住了通向山顶的路,所以只能沿着障碍爬到尽可能靠近山顶的位置,然后望着山顶叹叹气,这里山顶便是目标函数的可行解,障碍便是约束函数的边界,此时的梯度方向一定是指向山顶的,与障碍的梯度同向,下图描述了这种情况 :
可见对于不等式约束,只要满足一定的条件,依然可以使用拉格朗日乘子法解决,这里的条件便是 KKT 条件。接下来给出形式化的 KKT 条件 首先给出形式化的不等式约束优化问题:
列出 Lagrangian 得到无约束优化问题:
经过之前的分析,便得知加上不等式约束后可行解
需要满足的就是以下的 KKT 条件:
满足 KKT 条件后极小化 Lagrangian 即可得到在不等式约束条件下的可行解。KKT 条件看起来很多,其实很好理解:
(1) :拉格朗日取得可行解的必要条件;
(2) :这就是以上分析的一个比较有意思的约束,称作松弛互补条件;
(3)
(4) :初始的约束条件;
(5) :不等式约束的 Lagrange Multiplier 需满足的条件。
主要的KKT条件便是 (3) 和 (5) ,只要满足这俩个条件便可直接用拉格朗日乘子法, SVM 中的支持向量便是来自于此,需要注意的是 KKT 条件与对偶问题也有很大的联系,下一篇文章就是拉格朗日对偶。
- 约束优化方法之拉格朗日乘子发与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- 约束优化方法之拉格朗日乘子法与KKT条件
- KKT条件--约束问题最优化方法
- 约束优化问题的KKT条件
- 优化问题与KKT条件
- 人工智能里的数学修炼 | 约束问题的优化求解:拉格朗日乘子法、KKT条件与对偶问题
- 约束最优化问题求解:拉格朗日乘子法和KKT条件
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- QGis二次开发基础 -- 添加在线地图服务
- 完全图解scrollLeft,scrollWidth,clientWidth,offsetWidth
- LeetCode-605:Can Place Flowers (可放置花的数量)
- mybatis详解-(9)参数传递
- Linux命令记录(持续更新中)
- 约束优化方法之拉格朗日乘子发与KKT条件
- dubbo泛化调用 http接口 随意调用dubbo服务
- python爬虫<将scrapy的请求设置为同步>
- JAVA基础题
- Android Studio3.0 Android Profiler分析器(cpu memory network 分析器)
- Java Druid大数据连接池的实例应用 和工具类
- 更快、更强——解析Hadoop新一代MapReduce框架Yarn
- Android Opengles2.0 多纹理融合
- ionic 常用插件