统计学习方法（六）

七、支持向量机

支持向量机分为线性可分支持向量机（硬间隔最大化）、线性支持向量机（软间隔最大化）、非线性支持向量机（核技巧+软间隔最大化）。

函数间隔与几何间隔（用来表示分类的）：

r =y（w*x+b）

r’ =y（w*x+b）/ || w ||

1、线性可分支持向量机

输入空间为欧式空间或离散空间，特征空间为欧式空间或希尔伯特空间。

分离超平面：w*x+b=0

分类决策函数：f（x）=sign（w*x+b）

2、最大间隔分离超平面

先找到超平面（w，b）（某确定系数）关于训练集T中的几何间隔最小的值r，然后在所有（w，b）中就最大的 r‘，求解算法利用拉格朗日对偶性，

证明：最大间隔分离超平面的唯一性（P101）

支持向量：y（w*x+b）-1=0的实例集称为支持向量（只有支持向量起作用）。

3、线性支持向量机与软间隔最大化

加上一个松弛变量 ξ，约束条件变为 0<α <C

4、非线性支持向量与核函数

技巧：将非线性问题变换为线性问题

使核函数K（x，z）=φ（x）φ（z），将空间x映射到空间H

常用核函数：多项式核函数、高斯核函数、字符串核函数

5、序列最小最优算法SMO

在N个α中先找到两个，只优化这两个，优化方法P125，选取点的方法P128，先选取偏离最严重的α

6、习题

答案