SVM算法

SVM是一种分类算法，按以下方法工作：它使用一种非线性映射，把训练数据映射到较高的维上。在新的维上，它搜索最佳分离超平面（即将一个类的元组与其他类分离的“决策边界”）。使用到足够高维上的、合适的非线性映射，两个类的数据总可以被超平面分开。SVM使用支持向量（基本训练元组）和边缘（由支持向量定义）发现超平面。

一些关于SVM算法的笔记（二分类情况）

1）线性可分情况下，选择最大边缘超平面（边界写成W*X+b=0），求解W,b（凸优化问题，可用拉格朗日乘子）

2）线性不可分情况下，加入松弛变量和惩罚函数C，转化为线性可分。

3）非线性SVM，进行属性变化，决策边界写成W*O（X）+b=0（高维，会发生维灾难），检验时会产生O（X1）*O（X2）即相似度。核函数是一种使用原属性集计算变换后的空间中的相似度的方法。

优点：SVM可用于线性，非线性分类，也可用于数值预测和回归，泛化误差低，不容易过分拟合，计算复杂度低。

缺点：对参数和核函数的选择比较敏感