[翻译]Differential Evolution – A Simple and Efficient Heuristic for Global Optimization over Continuou

差分进化——一种在连续空间寻找整体最优解的简单有效的启发式算法

（机翻+自己修改）
摘要：
一种最大限度地最小化非线性和不可微的连续空间函数的启发式算法。有更快的收敛速度，需要控制的变量也很少。

关键词：
随机优化，非线性优化，全局优化，遗传算法，进化策略。

1.介绍

涉及连续空间的全局优化的问题在整个科学界普遍存在。一般来说，任务是通过适当地选择系统参数优化某些系统的性质。为了方便起见，系统的参数通常表示为向量。

当成本函数是非线性和不可微分的时，直接搜索方法是选择的方法。其中知名的有遗传算法和进化策略。直接搜索方法的核心是引起参数向量变化的策略。一但变异发生，就必须做出是否接受这个新推导出的参数的决定，大多数直接搜索方法使用贪心策略来做这个决定。根据贪婪策略，接受新生成的参数向量只有当它降低了成本函数的价值。虽然贪婪策略的过程收敛相当快，但它存在被困在局部最小值的风险。
拥有平行搜索技术如遗传算法和进化策略具有一些内置的保护措施，可以防止提前汇聚于局部最小值，通过同时运行几个向量，优秀的参数配置可以帮助其他向量逃避局部最小值。另一种使参数向量逃离局部最小值的方法是模拟退火（放宽贪婪策略，偶尔可以允许上坡（去往非更小值的地方）的行为）。这种移动潜在地允许参数向量爬出局部最小。 并且随着迭代次数的增加，接受向上移动的概率减小。长远来看，也还是满足贪婪策略。
这些直接搜索算法最主要的都是随机改变，是最简单的进化算法，退火算法和遗传算法都有人尝试过了，用户一般要求实际最小化技术应满足这几个要求：
（1）处理不可微分，非线性和多模态成本函数的能力。
（2）可并行性以应对计算密集型成本函数。
（3）易于使用，即很少的控制变量来控制最小化。 这些变量应该也是鲁棒和容易选择。
（4）良好的收敛性质，即在连续独立试验中一致收敛到全局最小值。
如接下来所要讲的，最小化方法差分演化（DE）被设计为满足所有上述要求。
为了满足要求（1），DE被设计为随机直接搜索方法。直接搜索方法还具有容易应用于实验中值最小化求解的优点， 实际上是物理实验由Rechenberg等人发展演化算法的动机。
为了满足要求（3），DE算法的最小化方法是自组织的，使得从用户需要非常少的输入。Nelder 和 Mead的方法是个自组织算法的很好例子：如果当前的成本函数有D个参数，Nelder 和 Mead的方法是使用具有D + 1个顶点的多面体来定义当前搜索空间。每个顶点由采样的D维参数向量表示成本函数。新向量参数的生成是由高cost值的向量向低cost值的向量收缩的叫做反思（？？？）的方法。如果新向量的函数值比前一代的向量低了，则替换掉前一代的向量，该策略允许搜索空间（即多面体）在没有用户的特殊控制变量设置的情况下扩展和收缩。不幸的是，Nelder＆Mead的方法基本上是一个局部的最小化方法，即使引入了退火的概念，对于全局最小化问题还是不够好，不过，DE借用了Nelder和Mead从向量群体内采用信息的想法来改变搜索空间。DE的自组织方案从两个随机选择的群体向量选择不同的向量来扰动现有的向量，这种扰动是由向量群体里的每一个向量完成的，这个关键想法与传统ES中使用预定概率分布函数来决定向量扰动的方法相反。
最后一点，良好的收敛性要求的要求（4）对于一个好的最小化算法是强制性的。尽管存在理论上描述全局最小化方法的收敛性质的许多方法，但是只有在各种条件下的广泛测试才能表明最小化方法是否能够满足其承诺。 在这方面，DE得分非常好，将在第3节中详细解释。

2.差分进化

差分演化（DE）是利用NP D维参数向量的并行直接搜索方法，
x i，G ， i = 1 ， 2 ，…., NP (1)

作为每一代的群体G,NP在最小化处理期间不改变, 初始向量群是随机选择的，应该覆盖整个参数空间, 作为规则，除非另有说明，否则我们将假定所有随机决定的概率均匀分布。在初步解决方案可用的情况下，可以通过向标称解x添加正态分布的随机偏差来生成初始群体，DE通过将两个群体向量之间的加权差值与第三向量相加来生成新的参数向量。这个操作称为突变，然后将突变向量的参数与另一预定向量（目标向量）的参数混合，以产生所谓的试验向量。 参数混合在ES社区中通常被称为“交叉”，并且将在后面更详细地解释。如果试验向量产生比目标向量更低的成本函数值，试验向量代替下一代中的目标向量，这最后一个操作称为选择，每个群体向量必须作为目标向量一次，使NP竞争发生在一代。更具体地说，DE的基本策略可以描述如下：
1.突变
对于每个目标矢量x（i，G）， i = 1， 2， 3， … , NP，产生突变载体根据v （i，G +1） = x（ r1 ，G） + F
( x （r2 ，G） - x（r3 ，G） ) 参数随机选择，F是控制放大和差分变化的常数因子。
2.交叉
为了增加扰动参数向量的多样性，引入了交叉，
3.选择
决定是否应该成为G + 1代的成员，使用贪婪准则将实验向量和目标向量进行比较，如果实验向量的函数值更小，则替换，否则保留旧值。
4.DE的其他变体
上述方案不是已证明有用的DE的唯一变体。 为了分类不同的变体，符号：DE/x/y/z被引入：
（1）x指定要突变的向量，其当前可以是“rand”（随机选择的群体向量）或“最佳”（来自当前群体的最低成本的向量）。
（2）y是使用的差分向量的数量。
（3）z表示交叉方案。 当前变体是“bin”（由于独立二项式实验的交叉，如第2节所述）
使用这种表示法，上一章中描述的基本DE策略可以写为：DE / rand / 1 / bin。 这是我们用于所有性能的DE变量比较。如果群体向量NP的数目足够高，则使用两个差向量可以改善群体的多样性。

3.与其他最小化方法的比较

DE已经参加了第一届国际IEEE进化论优化竞赛，第一届ICEO：Price，K.和Storn，R。（1996）在会议条目中，DE被证明是最快的进化算法，虽然它确实在有限应用的两个确定性方法的速度的第三。受到这些结果的鼓舞，我们寻找更多的最小化方法，可以有效地作用于真实函数。

3.1退火方法
选择两种退火方法以与DE比较，退火策略（ANM）：Press（1992）和Adaptive Simulated Annealing（ASA）：Ingber（1993）。我们使用现成的源代码在测试台上测试退火算法，我们认为这对全局优化方法是具有挑战性的。第一种方法ANM是有吸引力的，因为其用于产生随机参数偏差的自适应方案。 当退火部件关闭时，保持快速收敛直接搜索方法，其在局部最小化足够的情况下尤其有用。ANM中的基本控制变量是T，起始温度，TF，温度降低因子和NV，在给定温度水平下的随机变化的数量。第二种方法，ASA，声称非常快地收敛，并在De Jong测试套件上优于GA：Ingber（1992）。虽然ASA提供了十多个控制变量，但事实证明，只有其中两个，TEMPERA-TURE-RATIO-SCALE（TRS）和温度ANNEAL-SCALE（TAS），对最小化过程有显着影响。

接下来就是一些实验比较算法优劣。

5.结论和最后的想法

差分演化方法（DE）用于最小化连续空间函数已经介绍并与自适应模拟退火（ASA）进行比较，退火驯化方法（Annealed Nelder and Mead approach）（ANM），育种遗传算法（BGA），EASY演化策略和随机差分法方程（SDE）。 在大多数情况下，在定位测试函数的全局最小值所需的函数评估的所需数量方面，DE优于所有上述最小化方法。这个优秀的结果是特别有趣，因为DE是一个非常简单和直接的策略。事实上，DE的主要搜索引擎可以用不到30行的C代码编写。DE也非常容易使用，因为它仅需要几个鲁棒控制变量，其可以从良好定义的数值区间中提取。虽然DE已经显示出有希望的结果，但它仍然处于婴儿期，并且很可能得到改善。我们认为，DE的自组织方法是显着的，应该进行更深入的研究。进一步的研究应包括一个数学收敛证明，如存在的模拟退火。实际经验表明，如果目标函数表面是平坦的，DE的矢量生成方案导致总体矢量距离的快速增加。这种“发散性”防止DE在目标函数表面的浅区域中前进太慢，并且允许在群体行进通过窄谷之后快速进展。如果向量群体接近最终的最小值，则由于选择，向量距离减小，允许群体相当快地收敛。 尽管从实验中得到了这些见解，但是确定为什么DE收敛如此好的理论上可靠的分析将是非常有趣的。比较少了解到的是DE的缩放属性和在现实世界中的应用程序的行为。使用DE解决的最复杂的现实应用是设计具有18个参数和多个约束和目标的递归数字滤波器：Storn（1996a），60参数线性相位有限脉冲响应滤波器的设计：Storn （1996年c），并与30 pararmeters通信控制问题：Ziny（1995）。然而，许多问题在规模上大得多，并且DE在这种情况下的行为仍然是未知的，DE与其他优化方法的组合是否有用，也尚未得到回答。 最后，对于快速解决实际应用，我们获得更多关于如何为特定类型的问题选择DE的控制变量的知识是重要的。