拉格朗日乘子&库恩塔克条件
来源:互联网 发布:免费记忆力训练软件 编辑:程序博客网 时间:2024/04/30 10:25
拉格朗日乘子法的证明
在学习支持向量机的时候,计算对偶问题时用到了拉格朗日乘子法((Lagrange multiplier method)),回想起高中时使用拉格朗日乘子法求不等式约束条件下的最优化问题时的困惑,虽然一直知道用,但是却不知道为什么拉格朗日乘子法能够用。知其然更应知其所以然,本文就来扒一扒“拉格朗日乘子法”的来龙去脉。
等式约束下的最优化问题
给定一个不等式约束条件下的最优化问题,
此处假定
从几何的角度看,这个问题的目标是在由方程
显然,如果我们找到了一个最高点,必然有最高点所在的等高线
这个时候我们引入拉格朗日函数:
这意味着: 无约束条件下最小化拉格朗日函数
只要解除了
不等式约束条件下的最优化问题
等式约束下的最优化的问题只是热热身,真正麻烦却也重要的,是不等式约束下的最优化问题。考虑将
仍然考虑向量
- “盆地“的中心在阴影部分区域,此时我们可以不用理会约束条件,直接求
f(x) 的极小值就行;- “盆地”的中心在阴影部分外面,此时在我们所能找到的极值点,必然有
g(x)=0 曲线与极值点的登高线相切,否则必然能够往阴影区域继续找到一个海拔更低的点。并且该极小值点关于约束函数的梯度∇g(x) 与关于目标函数的梯度∇f(x) 方向必定是相反的(不相反却相切的情况,只能是第一种,但那种情况的切点并不是极小值) 。
总结上面的情况,给出不等式约束条件下的库恩-塔克条件为:
对偶问题
- 拉格朗日乘子&库恩塔克条件
- 卡罗需-库恩-塔克条件
- 拉格朗日乘子和KTT条件
- 条件编译&条件属性
- 拉格朗日乘子和KKT条件 的最优化问题
- for(条件1;条件2;条件3)
- 搜索条件
- 搜索条件
- 条件编译
- 条件编译
- 条件表达式
- 条件语句
- 条件码助记符
- 条件汇编
- 条件编译
- 条件变量
- 条件编译
- 条件断点
- [置顶][原创]差分放大器阻抗匹配计算+阻抗计算小工具
- VR开发中,一个游戏对象绕着某目标旋转
- web界面测试用例(shelley_shu)
- C#的接口实现的依赖倒置、控制反转、依赖注入
- 2017.06.15
- 拉格朗日乘子&库恩塔克条件
- 【C++学习笔记】vector内元素含有动态内存问题
- VS2012使用 MSDN教程
- PHP面向对象编程:对父类方法进行扩展二
- [nginx] 在 Linux 服务器上部署 nginx 之后不能访问
- 非阻塞同步机制与CAS操作
- 【电脑硬件】如何选购内存条
- 说说 Java I/O 系统之 File 类
- 位置无关代码(PIC)的思考