LP/QP/QCQP/SOCP/SDP/CCCP等系列优化方法的比较
来源:互联网 发布:net域名后缀排名高吗 编辑:程序博客网 时间:2024/03/28 22:43
在优化理论中,我们经常会碰到很多特殊类型的优化方法,最近主要看了convex optimization,将其中涉及到的一些常见优化方法整理如下。
LP-Linear Programming
一般形式:
QP-Quadraitic Programming
当约束条件变为二次的时,问题就变成了QCQP(Quadratical Constraint Quadratic Programming)问题了
SOCP-Second-Order Cone Programming 二阶锥规划
这里给出的定义比较详细了,但是,对于second-order cone一开始不是很理解,在一个相关的主页中看到如下的解释:
The second-order cone in is the set of vectors with . The picture shows part of the cone, and a slice (at ).
而在socp中,是将线性函数变成了仿射函数(Second-order cone programming (SOCP) is a generalization of linear and quadratic programming that allows for affine combination of variables to be constrained inside second-order cones)
SDP-Semi-Definite Programming 半定规划
这里,最后一段表明sdp与lp之间的关系,表明lp只是sdp的特殊情况。
CCCP-ConCave-Convex Procedure
凹凸优化方法在《Convex optimization》中没有提到,查阅了相关文献,作如下总结:
理论1说明了凹凸优化使用的范围,只要求能量函数的二阶偏导有界,并且其对应的特征值以ε为下界即可。
理论2给出了CCCP算法的迭代方法,然后证明了运用这样的迭代方法,能够使得能量函数E(x)单调递减。
对于(2)式的证明,文中说通过二阶泰勒展开式和罗尔定理来证明,待实践。
另外,文中给出了一个小示例,对于CCCP的理解有帮助
对于定理3,这里没有贴出来,主要是在目标函数有线性约束下的迭代公式。
对于这里的优化方法,通常可以运用Lagrange对偶化或者内点法来解决,对于内点法,我会单独写一篇blog来记录。
reference:
[1] Boyd,convex optimization
[2] A.L.Yuille et al.TheConCave-Convex Procedure(CCCP)2002
- LP/QP/QCQP/SOCP/SDP/CCCP等系列优化方法的比较
- LP/QP/QCQP/SOCP/SDP/CCCP等系列优化方法的比较
- 关于二阶锥优化(SOCP)的学习
- PackageManagerService中LI,LP等函数后缀的含义
- SGD,Adagrad,Adadelta,Adam等优化方法总结和比较
- 深度学习——sgd等优化方法比较
- LP 系列第 2 部分:协议的扩展与改进
- QP
- 比较陌生诡异的方法系列<一>
- qp 中文乱码的设置
- LP的决策
- LP的情书
- 优化方法比较
- [码率控制] x264实时编码的码率控制--一个简单的QP调节方法
- 最优化问题-线性优化(LP)
- lp
- 各种字符读取方法的比较(cin,getline等)
- 各种字符读取方法的比较(cin,getline等)
- Java中的集合类型的迭代器(Iterator)
- 【July程序员编程艺术】之字符串左旋
- Leetcode86: Missing Number
- [Poj1004]Financial Management
- android图片模糊的效果
- LP/QP/QCQP/SOCP/SDP/CCCP等系列优化方法的比较
- uva 11468 ac自动机+dp
- 新东西010--Android targetSdkVersion解析
- 【SQL优化】四月份培训的一个sql优化案例1
- linux安装vim
- GemFI安装中的'Error: can't find library -lpthread required by python'
- 黑马程序员---成长之路-----OC之基础篇创建对象
- first
- Halcon学习之2DMetrology