机器学习中的凸优化问题

凸集的定义为：

　　

　　其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示：

　　

　　常见的凸集有：

　　n维实数空间；一些范数约束形式的集合；仿射子空间；凸集的并集；n维半正定矩阵集；这些都可以通过凸集的定义去证明

　　凸函数的定义为：

　　

　　其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值，示意图如下：

　　

　　（1）凸函数的一阶充要条件为：

　　

　　其中要求f一阶可微。

　　（2）二阶充要条件为：

　　

　　Here, the notation ‘’ when used in conjunction with matrices refers to positive semidefiniteness, rather than componentwise inequality. 5 In one dimension, this is equivalent to the condition that the second derivative f′′(x) always be non-negative (i.e., the function always has positive non-negative).

        （3）Jensen’s Inequality

　　

常见的凸函数有：指数函数族；非负对数函数；仿射函数；二次函数；常见的范数函数；凸函数非负加权的和等。这些可以采用上面2个充要条件或者定义去证明。

关于求导的公式(斯坦福 Andrew Ng  cs229 linalg P19)：

　　凸优化问题（OPT）的定义为：

　　

　　即要求目标函数是凸函数，变量所属集合是凸集合的优化问题。或者目标函数是凸函数，变量的约束函数是凸函数（不等式约束时），或者是仿射函数（等式约束时）。

    　另外在《Conevex Optimization》中，凸优化的定义如下：

         　

       其中：(1)  the objective function must be convex

               (2)  the inequality constraint functions must be convex

               (3) the equality constraint functions  must be affine.

      *证明多元函数f(X)为凸函数的充要条件是f(X)的二阶偏导数矩阵（Hessian矩阵）为半正定。f(X)为严格凸函数的充要条件是二阶偏导数矩阵（Hessian矩阵）为正定矩阵。     

      对于凸优化问题来说，局部最优解就是全局最优解。

　　常见的凸优化问题包括：

　　线性规划（LP）：该问题是优化下面的式子：

　　

　　 二次规划（QP）：该问题是优化下面的式子：

　　

　　二次约束的二次规划（QCQP）：该问题是优化下面的式子：

　　

　　半正定规划（SDP）：该问题是优化下面的式子：

　　

 

 Lasso(The Least Absolute Shrinkage and Selectionator operator)算法

        这种算法通过构造一个惩罚函数获得一个精炼的模型；通过最终确定一些指标的系数为零，LASSO算法实现了指标集合精简的目的。这是一种处理具有复共线性数据的有偏估计。Lasso的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于0的回归系数，得到解释力较强的模型。数学表达式如下：

 

 

Ridge Regression算法

 

Lp Regularization定义：

 

Reference：

1)  Convex Optimization Overview    http://www.cnblogs.com/tornadomeet/p/3300132.html

2) 《Conevex Optimization》by Stephen Boyd