SVM

思想：建立在VC维理论和结构风险最小原理基础上，根据有限样本信息在模型的复杂性和学习能力之间寻求最佳折衷，希望得到最好的泛化能力。
VC维：对函数类的一种度量，可以理解为问题的复杂程度。
结构风险最小：引入泛化误差界的概念。真实风险由经验风险（分类器在给定样本上的误差）和执行风险（代表我们在多大程度上可以信任分类器在未知样本上分类的结果）组成。
svm特点：在小样本、非线性、高维模式识别中有优势。
小样本：用到的样本信息少，仅用到称为支持向量的样本。
非线性：svm擅长应对样本数据线性不可分的情况，主要通过松弛变量和核函数技术实现。
高维模式识别：样本维数可以很高。svm关注的是vc维，svm解决问题时和样本维数无关。

几何间隔：一个样本点到某个超平面的几何间隔。
一个样本集合到超平面的几何间隔是样本集合中距离超平面最近的点的距离。
几何间隔与样本误分次数存在关系。误分次数<=(2R/c)^2, c是样本集合到分类面的间隔.
因此，误分次数上届由几何间隔决定。
我们的目标是寻找最大的几何间隔。
最大化几何间隔相当于最小化||w||。
求解涉及到非线性问题。解决线性不可分问题的基本思路是向高维空间转化，使其变得线性可分。
常用核函数：RBF（高斯核函数，径向基函数）
sigmoid、多项式核函数、线性核函数。
满足mercer条件的函数，都可以作为核函数
svm是使用了核函数和软间隔（引入松弛变量）线性分类法。

在处理数据集偏斜问题时，一个方法是调整惩罚因子C。给样本数据少的负类更大的惩罚因子。