VC维度

转载自：http://blog.csdn.net/tianguokaka/article/details/16868567

Vc维度是针对某个分类器而言。Vc维度与分类器的复杂度有关。在学习分析时候，把分类器看做是来自于某类分类器集合，从而进行误差分析。直观来讲，分类器的复杂度正比于它所在的集合的元素个数，而元素个数与参数的个数由关。例如某个分类器有d个参数，每个参数由32位表示，那么可以推得分类器集合包含了个不同的元素，也就是参数越多分类器复杂度越高。但这仅仅是最直观的理解，如何精确定义分类器的复杂度？这就涉及到了vc维度。

可以直观定义vc维度是单个分类器可最多分类的数据点的个数（隐含条件是不要求对在同一直线的点的分类）。下面举例图解:

在二维空间上，一个线性分类器的vc维度是3，因为它可以准确对任意三个点进行正确分类，无论它们如何排列。需要强调的是，不要求对共线的情况分类。

但是线性分类器无法对四个点进行准确分类，即使它们不共线，如下图。

要想分类这四个点，单个线性分类器是不行的。

所以线性分类器vc维度是3.