1.1 问题

 

非线性优化（也称非线性规划）问题是有限维实空间上求单值函数的极值，函数的自变量可能受限制于有限个等式或不等式约束。这里几个定语：有限维，实空间，单值。这几个限制都可以推广，看来推广后就不是非线性优化这个术语所关心的东西了。如果优化的自变量是函数，那就是无限维的，比如最速降线问题，这个视频很不错http://v.ku6.com/show/wI01Eh3Xzy6ndFpy.html，或者用Google搜索关键字“数学变分法”，会看到很多相关内容。不过在做数值解的时候，还是用有限维去逼近无限维，因此有限维的方法在实践中是基础的重要的。非线性优化问题的一般形式见书中的（1.1.1）-（1.1.3）。当目标函数和约束都是线性的时候，非线性优化就变成了线性规划。关于线性规划的理论和方法，可参阅文献（Dantzig，1998）。

 

非线性规划这一名词是由Kuhn和Tucker最先使用，但非线性规划问题早已有之。Sylvester（1857）提出的在平面上找一个能包含N个给定点之最小圆的问题实质上是特殊的优化问题，具体形式见书（1.1.6）。使用一点技巧可把它等价地转化为一个凸规划问题：

 

AMPL程序如下：

param N=10; # 指定点的数目param px{1..N};param py{1..N};for{i in 1..N}{ let px[i]:=Uniform01(); # 随机产生横坐标，服从0-1区间的均匀分布 let py[i]:=Uniform01();}var x;var y;var r2;subject to con{i in 1..N}: (x-px[i])**2+(y-py[i])**2<=r2; # 把无约束问题化为约束问题，降低难度minimize obj: r2;option solver cplex;solve;print x,y,sqrt(r2);

 

非线性曲线拟合是另一个特殊的优化问题。如果拟合曲线是直线或超平面，那么它差不多就是数理统计中的线性回归或多元线性回归，相比拟合少了分布方面的考虑。

 

非线性优化为问题的使用范围非常广泛，问题也是五花八门。

 

对于定义1.1.1，注意邻域的使用，由此得到局部极小，实际上也可把该定义推广到离散优化的情形。对于定义1.1.2，给出全局极小，也就是所谓最值的概念。对于定义1.1.3，注意它是针对整个空间中的x定义的，通过一个点对于一个约束的不可行性，定义该点处约束的积极性，一点越是违反约束，那这个约束对于这点而言就越积极，可以说：点是约束的不可行点和约束是点的积极约束几乎（除了边界点，这样的点相对不可行点而言很少）是一个意思，也可表述成：不可行点和积极约束几乎是是对偶的。对于可行点，使得等号成立的约束也是积极约束。这样看来，积极约束的概念还是很好理解和记忆（不是死记）。而A(x)无非是逐个考察所有约束在单点处的积极性后得到积极约束的指标集。