非线性规划 模型与基本概念

      非线性规划问题，是指目标函数或约束函数中至少有一个是决策变量的非线性函数的优化问题。

1.一般数学模型

      非线性规划的一般数学模型可表示为

                                

    其中，是n维向量，都是的的映射。

    若记

                       

    则， 称为非线性规划问题的可行域，其为满足约束条件的所有可行解的集合。因此，非线性规划的一般数学模型也可以简记为

                                  

2.基本概念

2.1 局部极值与全局极值

    极值问题是非线性规划探讨的核心问题。根据极值与域的关系，可分为局部极值与全局极值。先定义全局极值

    全局极值   设为定义在n维欧式空间中某一区域上的一个n元实函数（即：）。对某一，若对任意均有，则称 为 在 上的全局极小点，其对应的函数值 为全局极小值。若对所有且，均有，则称为在上的严格全局极小点，为严格全局极小值。

    要定义局部极值，需要了解领域的概念。

    邻域  设，集合称为的 邻域，其中，为 与 之间的距离(通常为欧几里德距离)。

    清楚邻域的概念后，可定义局部极值

    局部极值  设为定义在n维欧式空间中某一区域上的一个n元实函数（即：）。对某一，若存在某个，使得对任意均有，则称为 在 上的一个局部极小点，对应的函数值 为局部极小值。若对所有 且，均有，则称 为 在 上的严格局部极小点，为严格局部极小值。

2.2 梯度

    梯度是非线性规划中的重要基本概念。多数优化算法都要使用到目标函数的梯度，而最为常用的最速梯度下降法更是直接建立在梯度上。   

    可微函数 的梯度定义为 对各维自变量 的偏导构成的n维向量（通常采用列向量表示）。若将 的梯度记为，则有

                        

    函数在某一点 处的梯度对应于将 代入梯度函数得到的函数值，即

                        

   重要性质   梯度方向是函数值增加最快的方向，即函数变化率最大的方向，而负梯度方向则是函数值减小最快的方向。

2.3 海赛矩阵

    为了使优化算法在接近最优解时具有更快的收敛速度，通常需要借助另外一项因素——海赛矩阵。

    二阶可微函数的海赛矩阵是由其二阶偏导数为元素构成的 矩阵。若将 的海赛矩阵记为，则有

                       

    重要性质  设为定义在开凸集上的二阶可微函数，若的海赛矩阵在 上处处半正定，则为上的凸函数；反之也成立。

主要内容参考：

蒋金山等，非线性规划，最优化计算方法，华南理工大学出版社，pp93--96, 2007.