凸优化及其相关理论
来源:互联网 发布:时间倒计时软件 编辑:程序博客网 时间:2024/06/05 19:53
”凸优化“ 是指一种比较特殊的优化,是指求取最小值的目标函数为凸函数的一类优化问题。其中,目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。而目标函数和不等式约束函数均为凸函数,等式约束函数为仿射函数,并且定义域为凸集的优化问题为约束优化问题
没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些可以参考Ng的教学资料:http://cs229.stanford.edu/section/cs229-cvxopt.pdf,从中我们可以大致了解到一些凸优化的概念,比如凸集,凸函数,凸优化问题,线性规划,二次规划,二次约束二次规划,半正定规划等,从而对凸优化问题有个初步的认识。以下是几个重要相关概念的笔记。
凸集的定义为:
其几何意义表示为:如果集合C中任意2个元素连线上的点也在集合C中,则C为凸集。其示意图如下所示:
常见的凸集有:
n维实数空间;一些范数约束形式的集合;仿射子空间;凸集的交集;n维半正定矩阵集;这些都可以通过凸集的定义去证明。
凸函数的定义为:
其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值,示意图如下:
凸函数的一阶充要条件为:
其中要求f一阶可微。
二阶充要条件为:
其中要求f二阶可微,表示二阶导数需大于0才是凸函数。
常见的凸函数有:指数函数族;非负对数函数;仿射函数;二次函数;常见的范数函数;凸函数非负加权的和等。这些可以采用上面2个充要条件或者定义去证明。
凸优化问题(OPT)的定义为:
即要求目标函数是凸函数,变量所属集合是凸集合的优化问题。或者目标函数是凸函数,变量的约束函数是凸函数(不等式约束时),或者是仿射函数(等式约束时)。
对于凸优化问题来说,局部最优解就是全局最优解。
常见的凸优化问题包括:
线性规划(LP):该问题是优化下面的式子:
其中那个不常见的奇怪符号表示按元素小于等于,后面出现类似符号可以类似理解。
二次规划(QP):该问题是优化下面的式子:
二次约束的二次规划(QCQP):该问题是优化下面的式子:
半正定规划(SDP):该问题是优化下面的式子:
按照文章说SDP在机器学习领域应用很广,最近很流行,不过我好像没太接触到过。
参考资料:
http://cs229.stanford.edu/section/cs229-cvxopt.pdf
- 凸优化及其相关理论
- 最优化相关理论
- 网站优化相关理论概述
- 凸优化理论介绍
- 《凸优化理论》-----共轭函数
- 安装ubuntu16.04桌面版及其相关优化
- 优化理论
- 优化理论
- 长尾理论及其启示
- 最优化理论与凸优化到底是干嘛的?
- 凸优化相关资料
- 密码学及相关理论
- 计算理论相关
- XML相关理论
- 贝叶斯相关理论
- 密码学及相关理论
- 持续集成相关理论
- XML相关理论
- Android6.0运行时权限
- 称砝码(搜索\暴力枚举)
- stc15f104实现触摸开关
- 接口测试的一些感悟
- Update()和FixedUpdate()的区别
- 凸优化及其相关理论
- UML类图学习笔记
- [DuiLib教程1]VS2012+CMAKE+WIN10+Duilid环境的搭建
- leetcode
- [CF480A]Exams
- c语言基础(八)结构体
- JavaScript数据类型
- J2EE Specification Level
- 数据结构(严蔚敏)图论章节知识点汇总