凸函数的性质

来源：互联网发布：天佑为什么这么火知乎编辑：程序博客网时间：2024/04/29 07:02

今天公司开机器学习的讨论班，期间，一个同学问道：为什么线性回归的均方误差函数是凸的（好像是这个吧）？我一激动来了一句“凸函数被多项式复合也是凸函数”，这个结论是不对的。应该是“凸函数在仿射变化下保持凸性不变”，也就是x^2是凸函数，那么（a1*x1+a2*x2+...an*xn）^2也是凸函数。

按照维基百科的观点，凸函数的性质，总结起来不过下面三点：http://zh.wikipedia.org/zh/%E5%87%B8%E5%87%BD%E6%95%B0

如果 $f$ 和 $g$ 是凸函數，那麼 $m(x) = \max\{f(x),g(x) \}$ 和 $h(x) = f(x) + g(x)$ 也是凸函數。
如果 $f$ 和 $g$ 是凸函數，且 $g$ 遞增，那麼 $h(x) = g(f(x))$ 是凸函數。
凸性在仿射映射下不變：也就是說，如果 $f(x)$ 是凸函數（ $x\in\mathbb{R}^n$ ），那麼 $g(y) = f(Ay+b)$ 也是凸函數，其中 $A\in\mathbb{R}^{n \times m},\; b\in\mathbb{R}^m.$
如果 $f(x,y)$ 在 $(x,y)$ 內是凸函數，且 $C$ 是一個凸的非空集，那麼 $g(x) = \inf_{y\in C} f(x,y)$ 在 $x$ 內是凸函數，只要對於某個 $x$ ，有 $g(x) > -\infty$ 。