机器学习-周志华-个人练习12.4

12.4 试证明，Rd空间中线性超平面构成的假设空间的VC维是d+1。

本题参考了四去六进一的一些想法，用自己的想法更加详细地描述出来。

首先，我们假设在Rd空间中存在一组正交单位向量，使得此空间内任意一点的坐标可以表示为(x1,x2,…,xd)T，不失一般性地，选取坐标原点(0,…,0)为xT0，以及各正交向量方向(0,…,αi,…,0)=xTi,αi≠0,i∈{1,…,d}为示例集，则所有示例（共d+1个点）对应的标签可以表示为y0,y1,…,yd。同时假设线性超平面的方程为wTx+b=0，则我们的目的是要确定是否存在w使得wTxi=yi,i=(0,…,d)成立。令：

X=⎡⎣⎢⎢⎢⎢⎢10⋮01α1⋮0……⋱…10⋮αd⎤⎦⎥⎥⎥⎥⎥,w=⎡⎣⎢⎢⎢⎢bw1⋮wd⎤⎦⎥⎥⎥⎥,

y=[y0，y1，⋯，yd],

则需要证明存在w使得wTX=y。不妨设min{α1,…,αd}>0，则X正定，可解得wT=X−1y。

无论y取到2d种情况中的哪一种，w均存在，则这样的d+1个示例能被线性超平面wTx+b=0打散，因此这样的线性超平面构成的假设空间的VC维至少为d+1。

---

接下来我们考虑在上述d+1个点的基础上增加点xd+1=(β1,…,βd)，显然，X变为增广矩阵X¯¯¯，y 变为y¯：

X¯¯¯=⎡⎣⎢⎢⎢⎢⎢⎢10⋮01α1⋮0……⋱…10⋮αd1β1⋮βd⎤⎦⎥⎥⎥⎥⎥⎥,

y¯=[y0y1⋯ydyd+1],

由上式可以解得

y0=b,yi−y0=wiαi,(i=1,…,d)

yd+1=b+∑i=1dwiβi,

即

yd+1=y0+∑i=1dβiαi(yi−y0),

显然，当前面d+1个点确定，xd+1可由前面d+1个点线性表示，那么对应的线性超平面在xd+1处不能对分{x1,x2,…,xd,1},{x1,x2,…,xd,−1}中的一个。

由于这样d+2个示例的选取具有普遍性和一般性，也就是说不存在任何大小为d+2的示例集能被线性超平面wTx+b=0打散，因此这样的线性超平面构成的假设空间的VC维为d+1。