拉格朗日乘子和KTT条件
来源:互联网 发布:阿里云服务器推荐配置 编辑:程序博客网 时间:2024/05/16 11:17
介绍拉格朗日乘子和KTT条件,转载自
http://www.cnblogs.com/ooon/p/5721119.html
引言
本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可以直接应用拉格朗日乘子法去求取最优值;对于含有不等式约束的优化问题,可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,所以本文称拉格朗日乘子法得到的为可行解,其实就是局部极小值,接下来从无约束优化开始一一讲解。
无约束优化
首先考虑一个不带任何约束的优化问题,对于变量
min
该问题很好解,根据 Fermat 定理,直接找到使目标函数得 0 的点即可 即
等式约束优化
当目标函数加上约束条件之后,问题就变成如下形式:
约束条件会将解的范围限定在一个可行域,此时不一定能找到使得
求解方法如下:首先对 Lagrangian 关于
令导数为 0 ,求得
因此给出结论:拉格朗日乘子法取得极值的必要条件是目标函数与约束函数相切,这时两者的法向量是平行的,即
所以只要满足上述等式,且满足之前的约束
不等式约束优化
当约束加上不等式之后,情况变得更加复杂,首先来看一个简单的情况,给定如下不等式约束问题:
对应的 Lagrangian 与图形分别如下所示:
这时的可行解必须落在约束区域
由图可见可行解
- 当可行解
x x 落在g(x)<0 g(x)<0 的区域内,此时直接极小化f(x) f(x) 即可; - 当可行解
x x 落在g(x)=0 g(x)=0 即边界上,此时等价于等式约束优化问题.
当约束区域包含目标函数原有的的可行解时,此时加上约束可行解扔落在约束区域内部,对应
以上两种情况就是说,要么可行解落在约束边界上即得
还有一个问题是
上式需要满足的要求是拉格朗日乘子
可见对于不等式约束,只要满足一定的条件,依然可以使用拉格朗日乘子法解决,这里的条件便是 KKT 条件。接下来给出形式化的 KKT 条件 首先给出形式化的不等式约束优化问题:
列出 Lagrangian 得到无约束优化问题:
经过之前的分析,便得知加上不等式约束后可行解
=0 (1)∇xL(x,α,β)=0(2)βjgj(x)=0, j=1,2,...,n(3)hi(x)=0, i=1,2,...,m(4)gj(x)≤0, j=1,2,...,n(5)βj≥0, j=1,2,...,n
满足 KKT 条件后极小化 Lagrangian 即可得到在不等式约束条件下的可行解。KKT 条件看起来很多,其实很好理解:
(1) :拉格朗日取得可行解的必要条件;
(2) :这就是以上分析的一个比较有意思的约束,称作松弛互补条件;
(3)
(5) :不等式约束的 Lagrange Multiplier 需满足的条件。
主要的KKT条件便是 (3) 和 (5) ,只要满足这俩个条件便可直接用拉格朗日乘子法, SVM 中的支持向量便是来自于此,需要注意的是 KKT 条件与对偶问题也有很大的联系,下一篇文章就是拉格朗日对偶。
参考文献:
1. 书:PRML | 《机器学习方法》-李航 |《机器学习》-周志华
2. http://blog.csdn.net/xianlingmao/article/details/7919597
3. http://blog.csdn.net/timingspace/article/details/50966105
4. http://blog.csdn.net/loadstar_kun/article/details/25369017
5. http://blog.csdn.net/johnnyconstantine/article/details/46335763
6. http://www.csc.kth.se/utbildning/kth/kurser/DD3364/Lectures/KKT.pdf nice PPT
http://www.csc.kth.se/utbildning/kth/kurser/DD3364/Lectures/Duality.pdf
7. http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982684.html
- 拉格朗日乘子和KTT条件
- 拉格朗日乘数和KTT条件
- SVM中对偶、凸优化与KTT条件问题
- Lagrange Multiplier && KTT Condition
- 条件和条件语句基础知识
- 函数前置条件和后置条件
- 入口条件循环和退出条件循环
- 条件传送和条件控制转移
- C++ 条件运算符和条件表达式
- 条件运算符和条件表达式
- 互斥锁和条件变量
- 拉格朗日乘子法和KKT条件
- WHERE条件和排序
- 条件和中断
- 拉格朗日乘子法和KKT条件
- 拉格朗日乘子法和KKT条件
- 互斥锁和条件变量
- Java循环和条件
- iframe中子父类窗口调用JS的方法及注意事项
- android类加载器ClassLoader
- 一文弄懂神经网络中的反向传播法——BackPropagation
- PHP使用Memcached扩展的一个坑
- Struts2接受Web参数
- 拉格朗日乘子和KTT条件
- 如何无损增大C盘容量
- 纯CSS代码实现翻页焦点图效果
- 递归计算数组元素之和
- jackson 实体转json 为NULL或者为空不参加序列化
- iOS 生命周期以及APP运行调用方法的顺序
- Oracle组件ODI,Active Data Guard,GoldenGate使用区别
- 自定义AlertDialog的实现步骤
- 4G memory at windows x86(二)