机器学习技法-01-1-Course Introduction

线性支持向量机

PLA在之前的课程中很难对每一条hyperplane进行具体的优劣比较，是借助dichotomy将无限的问题转换成了有限的问题。

那么到底哪一条线比较好呢？

PLA? 每一次的选择都是随机的，VC bound的角度来说，下面的三种情况并没有区别。

想象已经有了原始资料xn，就是被hyperplane完美分开的那些点，测试的时候拿到和xn很相近的数据（因为总会存在一些测量错误）x约等于xn。x是测试资料，xn是训练资料。

最好的预测结果：和训练资料相近的测试资料预测的结果是相同的。

也就是在训练集数据周围的灰色区域内的测试数据，也能得到和训练集一样的预测结果。

1.xn与hyperplane距离比较远时，就算测试资料有很大的测量误差也能得到和训练资料相同的结果；

2.xn与hyperplane距离比较近时，测试资料稍微有一点测量误差，就会被划分到对立的区域中去。

结论：hyperplane要离每一个xn越远越好。

除了刚才的距离来判断是否稳健，也可以使用fat hyperplane来衡量！

fat hyperplane：hyperplane到离得最近的xn的灰色区域，越宽越稳健。

largest-margin separating hyperplane需要满足两点：

1.找到的hyperplane必须可以完美地把所有的点都分开；

2.largest-margin

hyperplane必须在“+1”和“-1”之间的垂直平分线，也就是中垂线。