机器学习基础(林軒田)笔记之七

机器学习基础(林軒田)笔记之七

The VC Dimension

复习

在上一节课程中我们介绍了：

1.确保举一反三(训练时和测试时的表现类似，即)的条件；

2.成长函数的上限函数；

3.VC Bound，若果在假设集中有任何一个假设发生坏事情，这件事的几率，

4.举一反三，机器学习可行的条件。

Definition of VC Dimension

VC维度是给最大的非断点的定义，即k-1。

下面回顾之前的例子，

VC维存在的意义：

VC Dimension of Perceptrons

在有了VC维的概念之后，我们回到之前介绍的第一个机器学习算法，感知器学习算法(PLA)。

现在我们要解决的问题是这个演算法可不可以用在多维度的数据上。

查看之前的例子，得出猜想，

证明思路，

证明

在二维上(0,0),(1,0),(0,1)会被shatter。

证明，先以2维为例

现行依赖会限制分类的方式dichotomy。

推广，

Physical Intuition of VC Dimension

VC维的物理意义是假设集做二元分类时到底有多少自由度，即假设集能产生多少dichotomy。

看看之前的例子，

从例子大概得出，VC维大致上表示有多少可以调的旋钮，即有多少参数(不总是对的)。

VC维是我们用来衡量假设集的自由度的量，在第五讲中我们用M来衡量假设集的物理量。

Interpreting VC Dimension

现在我们来更进一步的理解VC维。

VC Bound:

那么有比大的几率会发生好事情

进一步：

从而知道VC维告诉我们：

VC Boung的另外一个意思：样本复杂度：

理论上N一般为10000倍的VC维，实际上10倍的VC维即可。