机器学习基石 7.3 Physical Intuition of VC Dimension

来源:互联网 发布:2017php应聘要求 编辑:程序博客网 时间:2024/05/18 02:38

  • Degrees of Freedom
  • Two Old Friends
  • MM and dVCd_VC
  • Fun Time

Degrees of Freedom

d+1实际上是perceptron的维度。w代表了hypothesis的自由度。
hypothesis的大小M=||模拟了自由度。
dVC=d+1代表了有效的二元分类的自由度。

这里写图片描述

这里写图片描述

Two Old Friends

这里写图片描述

从上面这两个例子可以看出dVC大概等于自由的参数的个数,但不总是对的。

这里写图片描述

M and dVC

这里写图片描述

Fun Time

w0=0的情况下,dVC=d
这里写图片描述