漫步最优化十七——点对点映射

英雄应该配美人，
美人同样适合英雄。
她像个天仙，
她太美了，
我不会有那种命的，
肯定轮不到我。
时间会越累越少，
我也会越来越老，
那至少给我留下一个梦吧。
畅宝宝的傻逼哥哥

从简单到高度复杂的算法中，有许多可以用来求出非线性规划问题的解。虽然不同的算法在结构，数学基础以及应用上非常不同，但是它们却有某些相同的性质，这些是比较通用的。非线性规划算法中最基础的两个公共性质为：

1. 它们是迭代算法
2. 它们是下降算法

对于一个算法，如果它的解是从一个初始估计值开始，然后计算出一系列点得到的，那么就称该算法是迭代算法。另一方面，如果算法产生的新值使得目标函数变小，那么称该算法是下降算法。

从数学角度看，我们可以将算法看成点到点的映射，其中点xk位于某个空间，一般为En向量空间的字空间，它被影射到同一空间的另一个点xk+1，xk+1的值由某些对应规则指定。从效果上看，如果点xk用于算法的输入，那么点xk+1就是输出，那么算法就可以用图1这样的框图来表示。在图中，x0表示解的初始值，反馈线表示算法的迭代性质，xk+1与xk之间的对应规则可以表示成

xk+1=A(xk)

将迭代应用到连续的点上，算法将产生一系列点{x0,x1,…,xk,…}，如图2所示。如果序列收敛到极限x̂ ，那么x̂ 就是所求的解。

对于序列{x0,x1,…,xk,…}，如果对任意给定的ε>0，存在整数K使得

∥xk−x̂ ∥<εfor all k≥K

其中∥⋅∥表示欧几里得范数。这样的序列可以表示成符号{xk}∞k=0，它的极限为xk→x̂ ，如果这样的序列收敛，那么它有一个唯一的极限点。

之后的文章中，我们会用到给定序列的字序列，{xk}∞k=0的子序列表示成{xk}k∈I，其中I是正整数的集合，通过删除{xk}∞k=0中的某些元素就可得到子序列。例如，如果I={k:k≥10}，那么{xk}k∈I={x10,x11,x12,…}。在我们的符号S={k:P}中，S表示满足性质P的k组成的集合。

图1



图2

如果由算法A生成的点序列如上面那样收敛到极限x̂ ，那么称算法A是连续的。