漫步最优化六——数学规划

面对你美丽的面容，
我努力压抑自己的内心，
可是爱情怎么喊停；
面对你认真的双眼，
我试着忘记曾经的一切，
可是爱情怎么喊停。
和你在一起就像在阳光里，
快乐到不想分离，
我想要告诉你，我好喜欢你。
——畅宝宝的傻逼哥哥

之前列出数学规划的分支有：线性规划，整数规划，二次规划，非线形规划和动态规划。每个分支都由各自特定优化问题的理论与技术构成，他们之间的区别与优化问题的结构以及目标函数与约束函数的形式密切相关，下面简要介绍下每个分支的内容。

1：线性规划

如果目标与约束函数是线性的且变量为正，一般优化问题的形式假设为：

subject to: minimize f(x)=∑i=1nαixiaj(x)=∑i=1nβijxi−μj=0for j=1,2,…,pcj(x)=∑i=1nγijxi−vj≥0for j=1,2,…,qxj≥0for i=1,2,…,n

其中αi,βij,γij,μj,vj是常数。例如

minimize subject to: f(x)=−2x1+4x2+7x3+x4+5x5a1(x)=−x1+x2+2x3+x4+2x5−7=0a2(x)=−x1+2x2+3x3+x4+x5−6=0a3(x)=−x1+x2+x3+2x4+x5−4=0xi≥0for i=1,2,…,5

或者

minimize subject to: f(x)=3x1+4x2+5x3c1(x)=x1+2x2+3x3−5≥0c2(x)=2x1+2x2+x3−6≥0x1≥0,x2≥0,x3≥0

像上面的优化问题会出现在许多学科中，通过用LP算法就能求出来。

2：整数规划

对某些线性优化问题，有些变量要求是整数，这个限制使得规划变成非线性的，不管怎样，我们依然将其看成线性的，因为目标与约束函数都是线性的。

3：二次规划

如果优化问题形式如下：

minimize subject f(x)=α0+γTx+xTQxto:αTx≥β

其中

αβTγT=⎡⎣⎢⎢⎢⎢α11α21⋮αn1α12α22⋮αn2⋯⋯⋯α1qα2q⋮αnq⎤⎦⎥⎥⎥⎥=[β1 β2 ⋯ βq]=[γ1 γ2 ⋯ γn]

其中Q是正定或半正定对称方阵，那么约束是线性的，目标函数是二次的，这样的优化问题称为二次规划(QP)问题。典型的实例如下：

minimize subject to: f(x)=12x21+12x22−x1−2x2c1(x)=6−2x1−3x2≥0c2(x)=5−x1−4x2≥0c3(x)=x1≥0c4(x)=x2≥0

4：非线性规划

在非线性规划问题中，目标函数与约束函数都是非线性的，这是数学规划中最常见的类型，实际上LP与QP可以看成非线性约束的特殊情况。虽然我们可以用非线性规划算法求解线性或二次规划问题，但是为线性或二次规划开发的特定算法确是常用的，因为他们效率更高。

优化算法的选择依赖于目标函数的结构与数学性质，大部分情况下，目标函数都是非线性的，我们需要的是通用，鲁棒且高效的算法。然而对于某些应用，效率比通用更重要，这时候就需要特定的算法。这些算法中经常用到范数，例如最小化L1,L2,L∞范数的算法称为L1,L2或极小极大算法。

5：动态规划

在许多应用中，我们需要进行一系列决策，其中每个子序列决策又受前面的影响。在这样的应用中，需要执行一系列优化过程，例如一个庞大的系统由于问题的规模与复杂度，不可能进行优化，但是可以将其分成能进行优化的许多子系统，这些子系统互相之间可能存在联系，因此要想得到整体最优，我们需要通用的求解策略。动态规划就是用于解决这种问题的方法，它通常基于线性，整数，二次或非线性优化算法。