数值优化介绍

一、模型与算法

模型是将抽象的实际问题转化成数学问题，用便于理解和计算的数学模型表示，通俗的说可以把模型理解为计算公式，常见数学定义定理等，算法即计算方法，是求解数学模型用的，就是将模型解出的方法。总之，模型是将实际问题数学化，算法是将其中所蕴含的数学问题进行求解。

数学模型，是对某一个具体问题的抽象描述，因为要求严谨和准确，所以一般只能选择数学描述，避免出现二义性。数学模型的建立，并不意味着问题的解决，但却是问题解决的基础，因为至少把问题解释清楚了，保证了所有人对问题的理解是一致的。 

计算机算法是解决问题的方法和流程，一般情况下，算法是基于数学模型的。如 “常微分方程的精确求解” 问题，分别采用代数模型、几何模型来描述，就会推导出不同的算法：代数动力学算法与几何算法，两者虽然算法思路完全不同，但都通向 “问题解决” 的终点。

二、解决问题的过程

识别给定问题的目标、变量和约束的过程被称为建模。在优化过程中，构建一个适当的模型是第一个步骤，有时也是最重要的一个步骤。

一旦模型建立好之后，可以使用优化算法来找到问题的解。没有通用的优化算法。有很多的优化算法，每个都是为了解决特定类型的优化问题。用户应该选择适合自己特定应用的算法。这一步也很重要，它决定了问题被解决的快慢、是否可以找到所有的解。

当优化算法应用到模型上的时候，我们要判别是否它已经成功地解决问题。如果没有，一步步地迭代解决问题。

三、数学公式

在数学上，优化是最小化或最大化一个受限于其变量的函数对象。

x是变量的向量，称为未知数或参数；

f是目标函数，我们要最大化或最小化的x的函数；

c是未知量满足约束的向量，是变量x的向量函数。

四、有约束的和无约束的优化

无约束的优化：如果对变量有自然限制，有时可以安全地忽略它们，并假设它们对最优解不起影响。 不受约束的问题也可以重新构造为受约束的优化问题，其中约束条件是目标函数中的惩罚项，这些惩罚项具有阻止约束违规的作用。

有约束的优化：约束优化问题是对变量进行显式的约束。这些约束可以是简单的界限，例如0≤x≤100；更多是一般的线性约束或者表示变量之间复杂关系的非线性不等式。

当目标函数和所有约束都是x的线性函数时，问题是线性规划问题。非线性规划问题，其中至少一些约束或目标是非线性函数。

五、全局和局部优化

对于凸规划来说，局部最优解就是全局最优解。线性规划问题属于凸规划类。然而，一般的受约束和不受约束的非线性问题，可能局部最优解不是全局最优解。

六、随机和确定性优化

七、优化算法

优化算法都是迭代的。

他们从最初的猜测开始，并产生一系列改进的估计，直到达到目标。

区分一个算法的关键是：从一个迭代移动到下一个迭代的策略。

迭代策略：

（1）利用目标函数f的值，约束条件c，或者是这些函数的一阶和二阶导数。

（2）一些算法累积以前迭代中所收集的信息，而其他算法仅使用当前点的本地信息。

优秀的算法应具有以下属性：

（1）鲁棒性

（2）效率

（3）准确性

这些目标可能会出现一些冲突，所以需要一些权衡。