支持向量机SVM

简介：

SVM有很多实现，只关注最流行的SMO（序列最小化）算法；

使用核函数将SVM扩展到更高维的数据集上；

适用范围：

数值型和标称型数据

原理：

1.超平面和样本间隔越远越好，问题转化为求支持向量到超平面的最大间隔；

2.找到具有最小间隔的点（支持向量），对间隔最大化；

3.利用拉格朗日算子，将优化函数转化为拉格朗日算子优化问题

4.选择核函数，核函数就可以将特征进行低维 到高维的变换，可以将低维非线性问题转换为高维的线性问题；

5.软间隔：引入松弛变量，容忍异常样本点；

6.求解优化问题：SMO算法，每次只优化2个alpha值来加速SVM的训练速度；

缺点：

1.对参数调节和核函数的选择敏感；

2.原始分类器不加修改仅适用于处理二分类问题；解决多分类问题时，需要额外的方法对其进行扩展；

优点：

1.泛化错误率低，具有良好的学习能力，学到的结果具有很好的推广性；