(斯坦福机器学习笔记)支持向量机

有了前4篇笔记中的对偶问题，拉格朗日函数，核方法的知识，就可以学习支持向量机的算法了。

首先要做一个改变写法的声明。y现在取{−1,1}。

对于一个线性可分的问题，用y=wTx+b作为分隔面，将两类样本分开。

定义函数间隔li=yi(wTxi+b)，i表示学习样本的序号。

定义函数间距l=minili，即函数间距是离分隔面最近的样本到分隔面的间距

函数间隔和函数间距是不确定的，因为让w和b成倍的增大或减小，分隔面的分类性质不变，但会使函数间隔和函数间距改变。因此要加入约束||w||=1。

此时问题是maxw,bl，s.t.   yi(wTxi+b)≥l，且||w||=1。用语言表示即：让离分隔面最近的样本到分隔面的间距最大。注意：还记得之前的logistic回归中，所有样本点对决定分隔面的位置都做贡献。而在支持向量机中，决定分隔面的位置的点仅仅是离分隔面距离最近的点。

该问题不是凸优化问题，需要做处理。因为||w||=1，原问题变成:
maxw,bl||w||，s.t.   yi(wTxi+b)≥l

可以用过调整w和b，将l的值变为1，进而问题变成:
minw,b12||w||2    s.t.   yi(wTxi+b)≥1 i是学习样本的序列。这就是支持向量机的问题了。

要解该问题，构造拉格朗日函数L(w,b,a)=12||w||2−∑i=1mai[yi(wTxi+b)−1]

找该问题的对偶问题，令∂L∂w=0和∂L∂b=0    得wn=∑i=1maiyixin，∑i=1maiyi=0

将上面两个式子带入L(w,b,a)，得到对偶问题
maxa∑i=1mai−12∑i=1m∑j=1maiajyiyj<xj,xi>           s.t.  a≥0，∑i=1maiyi=0
其中<a,b>表示a和b的内积。在这里可以用核方法，就是用核函数K(x,z)替代内积。

因为x,y是已知的，得到了a就得到了w。而b的公式是

b=−maxi:yi=−1(w∗)Txi+mini:yi=1(w∗)Txi2

可以用牛顿法，梯度下降法求解a，也可以用更快的方法SMO。该问题是凸优化问题，可以保证得到最优解。

=============================软间隔分类器===========================
以上讨论的是线性可分问题。即便是运用了核方法，也不能保证问题一定是线性可分的。所以要将原问题做改动。问题变成：
minw,b12||w||2+C∑i=1mϵi    s.t.   yi(wTxi+b)≥1−ϵi     ϵi≥0

他的对偶问题是：
maxa∑i=1mai−12∑i=1m∑j=1maiajyiyj<xj,xi>           s.t.  C≥a≥0，∑i=1maiyi=0

=======================================SMO==========================
待续