数学优化与凸集2（斯坦福凸优化笔记2）

1 仿射和凸集

1 直线和线段

设 x1≠x2为Rn 空间中的两个点，那么具有下列形式的点
y=θx1+(1−θ)x2,θ∈R
组成一条穿越x1和x2的直线。如果θ∈[0,1],就构成了x1和x2之间的闭线段。

2 仿射集合
如果通过集合C⊆R中任意两个不同点的直线仍在集合中，那么集合C是仿射的。
这个概念可以扩展到多个点的状况，如果θ1+⋯+θk=1，我们称具有θ1x1+⋯+θkxk形式的点为x1,⋯xk的仿射组合。
根据仿射集合的定义，如果C是一个仿射集合，x1,⋯xk∈C,且θ1+⋯+θk=1，那么θ1x1+⋯+θkxk仍然在C中。

3 凸集
集合C被称为凸集，如果C中任意两点间的线段都在C中，即对于任意x1,x2∈C和满足0≤θ≤1的 θ 都有
θx1+(1−θ)x2∈C
简单的可以理解成，集合中任意两个点之间的路径都包含在集合里。
集合中所有点的凸组合的集合叫做凸包，记conv C
conv C={θ1x1+⋯+θkxk∣xi∈C,θi≥0,i=1,⋯,k,θ1+⋯+θk=1}
凸包是包含C最小的凸集。

上图是凸包的图片（图片来自斯坦福Boyd Convex Optimization）
左图为一些点的凸包，右图为肾型的凸包。
4 锥

对于任意x∈C和θ≥0都有θx∈C,我们称集合C为锥或者非负齐次。
锥可以直观的理解为从原点到各个点的辐射的直线组成的集合。

上图的三条直线可以认为是锥，对于任意直线上点x1,x2,x3来说，满足上述锥的定义。
如果集合C是锥，并且是凸的，即对于任意x1.x2∈C和θ1,θ2≥0有：
θ1x1+θ2x2∈C
此时这个集合既是一个锥，又是凸的，称为凸锥。
在二维上，凸锥构成了二维的扇形。

（图片来自斯坦福Boyd Convex Optimization）
集合C的锥包是C中所有元素的锥组合的集合。即
{θ1x1+⋯+θkxk∣xi∈C,θi≥0,i=1,⋯,k},
这是包含C最小的凸锥。

（图片来自斯坦福Boyd Convex Optimization）

2 一些常见的凸集

下面介绍一些常用的凸集，这些凸集将在以后经常用到。

1超平面与半空间
超平面是有以下形式的集合：
{x∣aTx=b}
其中：a∈Rn,a≠0且b∈R。
从几何上讲，我们可以理解为超平面法线方向为a,常数b∈R决定了超平面到原点的偏移。超平面将Rn划分成两个半空间。半空间是具有下列形式的集合：
{x∣aTx≤b}
超平面既是凸的，又是仿射的；

（图片来自斯坦福Boyd Convex Optimization）
半空间是凸的。

（图片来自斯坦福Boyd Convex Optimization）

2 Euclid 球和椭球

Rn空间中的Euclid 球（简称球）形式如下：
B(xc,r)={x∣∥x−xc∥2≤r}={x∣(x−xc)T(x−xc)≤r2}
还可以表达为：
B(xc,r)={xc+ru∣∥u∥2≤1}
另一类相关的凸集是椭球：
ε={(x−xc)TP−1(x−xc)≤1}
椭球的另外一种常见的表示形式是：
ε={xc+Au∣∥u∥2≤1}
其中A是非奇异的方阵，我们一般假设A对称正定，且A=P−1,这时此表示方式和上一种表示方式一致。
球和椭球都是凸的。

3 范数球和范数锥

范数球可以如下定义，设∥⋅∥是Rn中的范数，则范数球：
{x∣∥x−xc∥≤r}
范数球是上面Euclid球的推广，同样是凸的。

范数锥的定义如下：
C={(x,t)∣∥x∥≤t}⊆Rn+1

范数锥是个凸锥。

这个图是二维{∥x∥max≤t}的图片。

这个图是二维{∥x∥1≤t}的图片。

4 多面体

多面体定义为有限个线性等式和不等式的解集：

P={x∣aTjx≤bj,j=1,⋯,m, cTjx=dj,j=,⋯,p}
多面体是有限个半空间和超平面的交集。多面体是一个凸集。

多面体还可以表示为：
P={x∣Ax⪯b,Cx=d}
其中：

A=⎡⎣⎢⎢⎢aT1⋮aTm⎤⎦⎥⎥⎥, C=⎡⎣⎢⎢⎢cT1⋮cTp⎤⎦⎥⎥⎥,

5 半正定锥

我们用Sn表示对称n×n矩阵的集合，这个集合是一个维数为n(n+1)/2的向量空间。我们用Sn+表示对称半正定矩阵的集合
Sn+={X∈Sn∣X⪰0}
用Sn++={X∈Sn∣X≻0}表示对称正定矩阵的集合。Sn+和Sn++集合都是凸锥。
(未完，待续)