关于凸优化的一些简单概念
来源:互联网 发布:excel相关系数矩阵 编辑:程序博客网 时间:2024/06/07 11:27
凸集的定义为:
其几何意义表示为:如果集合C中任意2个元素连线上的点也在集合C中,则C为凸集。其示意图如下所示:
常见的凸集有:
n维实数空间;一些范数约束形式的集合;仿射子空间;凸集的交集;n维半正定矩阵集;这些都可以通过凸集的定义去证明。
凸函数的定义为:
其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值,示意图如下:
凸函数的一阶充要条件为:
其中要求f一阶可微。
二阶充要条件为:
其中要求f二阶可微,表示二阶导数需大于0才是凸函数。
按照上面的两个定义,如果f(x)=x^2肯定是凸函数,而g(x) = -x^2是非凸函数。也就是说开口向下的函数是非凸函数,但是对于这种情况可以通过添加负号变成凸函数,从而求解。
常见的凸函数有:指数函数族;非负对数函数;仿射函数;二次函数;常见的范数函数;凸函数非负加权的和等。这些可以采用上面2个充要条件或者定义去证明。
凸优化问题(OPT)的定义为:
即要求目标函数是凸函数,变量所属集合是凸集合的优化问题。或者目标函数是凸函数,变量的约束函数是凸函数(不等式约束时),或者是仿射函数(等式约束时)。
对于凸优化问题来说,局部最优解就是全局最优解。
常见的凸优化问题包括:
线性规划(LP):该问题是优化下面的式子:
其中那个不常见的奇怪符号表示按元素小于等于,后面出现类似符号可以类似理解。
二次规划(QP):该问题是优化下面的式子:
二次约束的二次规划(QCQP):该问题是优化下面的式子:
半正定规划(SDP):该问题是优化下面的式子:
按照文章说SDP在机器学习领域应用很广,最近很流行,不过我好像没太接触到过。
参考资料:
http://cs229.stanford.edu/section/cs229-cvxopt.pdf
- 关于凸优化的一些简单概念
- 关于凸优化的一些简单概念
- 关于凸优化的一些简单概念
- 关于凸优化的一些简单概念
- 关于凸优化的一些简单概念
- 关于凸优化的一些简单概念
- 关于凸优化的一些简单概念
- 关于凸优化的一些简单概念
- 机器学习&数据挖掘笔记_15(关于凸优化的一些简单概念)
- 机器学习&数据挖掘笔记_15(关于凸优化的一些简单概念)
- 机器学习&数据挖掘笔记_15(关于凸优化的一些简单概念)
- 机器学习&数据挖掘笔记_15(关于凸优化的一些简单概念)
- 关于j2ee的一些简单概念介绍
- 关于 最优化/Optimization 的一些概念解释
- 关于 最优化/Optimization 的一些概念解释
- spring的一些简单概念
- c++的一些简单概念
- 关于Socket的一些概念
- Hibernate中表与表之间关系的处理(一对多)
- C++ string append方法的常用用法
- 设计模式-单例模式的Java代码体现Runtime类
- 初学Vue-cli
- 【计算机视觉】全景相机标定(MATLAB/opencv)
- 关于凸优化的一些简单概念
- 2017上海金马五校程序设计竞赛 O:An Easy Problem
- 面试题29数组中出现次数超过一半的数字
- 使用jUnit4测试Spring4
- 【HDU 1427 计算24点 DFS】
- 两数之和
- 数据结构与算法之线性表(一)(笔记)
- 了解CSS属性font-kerning,font-smoothing,font-variant
- java:控制台输入方法