凸函数

1.定义

• 对于函数f(x)，如果其定义域domf是凸的，且对于∀x,y∈domf，0≤θ≤1， 有
  

  f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  
  则，f(x)是凸函数。

• 例：
  仿射函数：ax+b
  指数函数：eax
  幂函数：xα(其中，x∈R++,α>1 或α<0)
  绝对值幂函数：|x|p,p≥1
  其他：xlogx,x∈R++

• 凹函数实例:
  仿射函数：ax+b
  幂函数：xα(其中，x∈R++,0≤α≤1)

2.凸函数判定条件

• 2.1 一阶充要条件
  
  f(y)≥f(x)+∇f(x)T(y−x)
• 2.2 二阶充要条件
  
  ∇2f(x)⪰0
• 2.3 Jensen不等式
  若f(x)是凸函数，则对0≤θ≤1, 有
  
  f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  
  进一步可得：
  
  f(Ex)≤Ef(x)

3.凸运算

• 非负线性组合(nonnegative weighted sum)
  若f(x)凸，则数乘αf,(α≥0) 和加法 f1+f2 对凸集封闭

• 仿射组合函数(composition with affine function)
  若f(x)凸，则f(Ax+b)凸

• 最大值和极值(pointwise maximum and supremum)
  若f1,f2,...,fn凸，则
  

  f(x)=max{f1(x),f2(x),...,fn(x)}
  
  也为凸函数

• 复合函数(composition)
  若g:Rn→R，h:R→R，则对于复合函数
  

  f(x)=h(g(x))
  
  若g凸，h凸且非减，有f凸；
  若g凹，h凸且非增，有f凸；
  例：
  当g(x)为凸函数时，exp{g(x)}为凸函数
  当g(x)为凹函数且为正时，1g(x)为凸函数

4.共轭函数

• 定义：
  函数f(x)的共轭函数为：
  
  f∗(y)=supx∈domf(yTx−f(x))
  
  共轭函数有一个非常特别的性质，在对偶问题中有着非常重要的应用。这个性质就是：
  无论f(x)是否为凸函数，其共轭函数都为凸函数

5.拟凸函数

• 对于函数f(x)，若其定义域以及水平子集
  Sα={x|f(x)≤α}
  对于任意的α都为凸集，则f(x)为拟凸函数。
• 实例：
  |x|−−√，logx

6.log-concave函数

• 定义
  对于正函数f(x)， 如果logf(x)是凹函数，则f(x)是log-concave函数，即对0≤θ≤1，有
  f(θx+(1−θ)y)≥f(x)θf(y)1−θ
• 实例：
  正态分布函数是log-concave