机器学习——监督学习（一）

2.1由实例学习类

类学习：寻找一个涵盖所有的正例而不涵盖任何负例的描述

类识别器的蔬菜如：对识别结果有关键影响的特征

假设类：H{所有特征值的上下界作为元素组成}

最特殊假设：S覆盖所有正例且不包含所有负例的最小矩形

最一般假设：G覆盖所有正例且不包含所有负例的最大矩形

        介于S~G之间的h均为无误差的有效假设，与训练集χ相容，这些h构成了解空间

C：实际类

边缘：h的边界和他相邻最近的实例（正例/负例）之间的差距。最大边缘：S与G中间

   误差函数在最大边缘上的最小化：不仅仅返回0、1

诱导假设：h{设定的特征值的上下界作为元素组成}

经验误差：h的预测值不同于训练集χ中给定的预期值的训练示例所占的比例

误差函数：E(h|χ） = ∑(t = 1 ~ N) 1*（h（xt）！= rt）

泛化问题：对不在训练集中的未来实例分类的准确率问题

2.2VC维

N个点，存在pow（2，N）种表现形式，如果每种形式都能被H中的一种诱导假设h打散，则称H能散列N个点

H能散列的最多个点的数量X，即为H的vc值，VC(H) = X

直线的VC值为3，因为4个点的情况下，在（2,2）的情况无法将AD,BC两对对角线的点打散

而轴平行矩形的VC值为4，因为在5个点的情况下，在（4,1）的情况无法将ABCE与D打散

VC值度量的是假设类H的学习能力

2.3