机器学习基石-07-2-VC Dimension of Perceptrons

2维感知机的VC维

那么对于多维的感知机怎么求VC维呢？

重要原理：

1.只要能找到一个d+1 inputs可以被shatter，那么dvc>=d+1;

2.任何一个d+2 inputs都不可以被shatter，那么dvc<=d+1。

像上面的二维感知机，因为存在3个点不共线时是可以shatter的，所以dvc>=3；但是对于任何4个点都是不可以shatter的，因为二维感知机的break point k=4，在break point上绝对不会shatter。所以可以得到，二维感知机的VC维=3。

只要可以shatter，也就是只要在d+1 inputs能得到2的N次方个dichotomy，就满足dvc >= d+1。

第一步证明dvc>=d+1：

存在d+1个inputs可以被shatter，找到了一些特殊的inputs。y指的就是任何一种排列组合

can we shatter X?

X是否可以shatter也就是上面的方程组是否有解，存在w使得方程组有解也就是可以shatter，可以shatter就可以得到dvc>=d+1.

第二步证明dvc<=d+1：d+2个inputs一定不会被shatter，下面的证明是先证明shatter再证明矛盾。

对于任意一个d+2 inputs都找不到2的(d+2)次方的dichotomy，那么就说明d+2个inputs一定不能shatter，也就可以得到dvc<d+2（因为只有在最小的break point k上才会满足一定不shatter），也就可以得到dvc<=d+1。

新的概念：linear dependence线性依赖

线性依赖会限制dichotomy，比如上面的例子中，x4=x2+x3-x1（线性代数计算）在等式的两边分别乘上w的转置，，w*x4只可能是“圆圈”不可能是“叉叉”，系数的正负就分别代表“圆圈”和“叉叉”，就会起到限制dichotomy的作用。

对于任意一个X来说，因为线性依赖的原因一定不会产生2的N次方的dichotomy，所以就一定不能被shatter，所以得到了dvc<d+2，也就是dvc<=d+1.

从而证明了d维感知机的VC维就等于d+1.