优化算法 无处不在

一：起因

（0）优化算法（Optimization Algorithm）,即求目标函数的最优值问题；如何评价你的当前解的值是最优的？这就需要构造评价函数；如何从当前的位置（解）更新到新的搜索空间？这就需要变换的形式的定义。

（1）优化算法无处不在 —— 实际生活中的 物资调配，一定的生产资料如何得到最大的产出，一定的投资如何得到最佳的收益等等，都可以转化为最优化问题的求解；就连我们平常生活中的一次旅游计划也离不开优化问题：三天的假期，我是去西藏 还是去北京还是去上海，我得受制于假期的期限，以及路费，住宿费，以及当地的生活习俗，个人爱好，偏好等等因素的制约，最终我们会得到一个浙中的方案，其实就是一个最优解嘛！

（2）优化算法：拟牛顿、牛顿、梯度；遗传、蚁群、模拟退火、粒子群算法等，优化算法，是在给定的搜索空间中，以尽量快的速度尽量的搜索全局最优值。

二：优化的分类

（0）简单的线性非线性的古老优化算法：

     拟牛顿、牛顿、梯度    爬山算法------ 容易造成局部最优解

（1）解决局部最优，并且开始结合生物信息论

      遗传（GA Genetic Algorithm）、模拟退火(Simulated Annealing)

 （2）群体智能的知识 - -通常认为它是群集智能(Swarm intelligence, SI)的一种。它可以被纳入多主体优化系统(Multiagent Optimization System, MAOS)

     蚁群（Ant ）、粒子群算法(PSO  Particle Sworm Optimization)

（3）按照有无条件限制 又分为有约束的优化问题和无条件的优化问题

三：优化的应用

（0）LR 求解问题：1）Logistic函数（或称为Sigmoid函数） S型函数；2）目标函数的建立，转化为求最优解——即转化为优化问题；3）

运用优化算法（拟牛顿、牛顿、梯度；遗传、蚁群、模拟退火、粒子群算法等）求解 

（1）类似的BPNetwork（用到的是梯度下降法），求解W权重的参数的最佳权值一样，也是在构造一个损失函数J,使得其达到最小值，求此时的W权重即为所求的参数。

（3）实际生活中的 物资调配，一定的生产资料如何得到最大的产出，一定的投资如何得到最佳的收益，生产生活的管理等等，均可以转化为优化问题