最优化理论
来源:互联网 发布:ubuntu关闭网卡 编辑:程序博客网 时间:2024/06/07 18:08
最优化(optimization),应用数学的重要研究领域.它是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到最优的一些学科的总称.由于运筹学中出现的问题大多即是最优化所研究的问题,因此运筹学的许多分支,如数学规划、组合最优化、排队论,以及决策论等也是最优化的组成部分.此外,最优化还包括如工程最优设计、最优控制(控制论与运筹学的交叉分支)等.
狭义地说,最优化即指数学规划,有时也专指非线性规划.
主要研究以下形式的问题:
给定一个函数,寻找一个元素使得对于所有中的,(最小化);或者(最大化)
这类定式有时还称为“数学规划”(譬如,线性规划)。许多现实和理论问题都可以建模成这样的一般性框架。
典型的,一般为欧几里得空间中的子集,通常由一个必须满足的约束等式或者不等式来规定。 的元素被称为是可行解。函数被称为目标函数,或者费用函数。一个最小化(或者最大化)目标函数的可行解被称为最优解。
一般情况下,会存在若干个局部的极小值或者极大值。局部极小值定义为对于一些,以及所有的 满足
- ;
公式
成立。这就是说,在周围的一些闭球上,所有的函数值都大于或者等于在该点的函数值。一般的,求局部极小值是容易的,但是要确保其为全域性的最小值,则需要一些附加性的条件,例如,该函数必须是凸函数。
主要分支:
对于无约束的优化问题, 如果函数是二次可微的话,可以通过找到目标函数梯度为0(也就是鞍点)的那些点来解决此优化问题。我们需要用黑塞矩阵来确定此点的类型。如果黑塞矩阵是正定的话,该点是一个局部最小解, 如果是负定的话,该点是一个局部最大解,如果黑塞矩阵是不定的话,该点是某种鞍点。
要找到那些拐点,我们可以通过猜测一个初始点,然后用比如以下的迭代的方法来找到。
- 梯度下降法
- 牛顿法
- 共轭梯度法
- 线性搜索
- 置信域方法
如果目标函数在我们所关心的区域中是凸函数的话,那么任何局部最小解也是全局最优解。现在已经有稳定,快速的数值计算方法来求二次可微地凸函数的最小值。
有约束条件的约束问题常常可以通过拉格朗日乘数转化为非约束问题。
其他一些流行的方法有:
- 模拟退火
- 遗传算法
- 类免疫算法
- 演化策略
- 差异演化算法
- 微粒群算法
- 神经网络
- 支持向量机
人工智能和最优化
- 最优化相关理论
- 最优化理论
- 最优化理论
- 《最优化理论与方法》
- 最优化理论与KKT条件
- 最优化理论与方法上机报告
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- 最优化理论与KKT条件
- 最优化理论之牛顿法
- 最优化理论中的常用背景知识
- 最优化理论与KKT条件
- 最优化理论与凸优化到底是干嘛的?
- 一.最优化理论与算法学科介绍
- 最优化问题学习笔记1-对偶理论
- 最优化理论·非线性最小二乘
- 最优化理论和支持向量机的对偶问题
- 优化理论
- Linux dd命令全面解析
- what's for your life?
- MyEclipse8.5 的卸载安装问题
- 动态绑定
- Sublime Text2 使用
- 最优化理论
- 编程珠玑——第一章
- 10 Programming Proverbs Every Developer Should Know
- Selenium2.0介绍——启动Selenium Server和启动选项.
- Selenium2.0介绍--Selenium Grid,并行启动多个浏览器.
- 写自己想出来的东西
- IOS plist文件的增删操作
- ArcPad 10 的安装部署
- 2013年1季度中国自主A0级车品牌口碑研究报告