机器学习入门学习笔记：（4.1）SVM算法

前言

支持向量机（Support Vector Machine，简称SVM）可以说是最经典的机器学习算法之一了。这几天再看SVM，参考了一些书籍和博客，这里把自己的笔记记录下来，以便以后复习查看。

间隔(margin)

分类学习最基本的思想就是：寻找一个超平面把数据集的样本空间划分成不同的样本。
比较直观的一种情况就是二维下的，如下图：
（摘自百度百科）
直观上看，我们应该去寻找两类样本正中间的直线来划分这两类样本。图中有三根直线：先看绿线，不难发现，它穿过了黑色点集，分类肯定错误了；红线和蓝线都正确地分开了两类样本。然而，我们肯定都觉得蓝线不是一种很好的方法，因为它距离样本太近了，在这个数据集附近随机再取一个新的样本，很有可能就越过了它，导致分类错误；相对而言，红线更好，因为它到两类样本的距离都有一定距离，这也意味着，它对未知示例的泛化能力更强，是最鲁棒的。
以上也仅仅是直观上的理解，下面从数学层面进行分析。
在样本空间中我们用如下线性方程来描述划分超平面：

ωTx+b=0

其中，ω=(ω1,ω2,...,ωd)为法向量，决定了超平面的方向；b为法向量，决定了超平面与原点之间的距离；x为输入样本。
假设训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)}。
接下来先推导样本空间中一个点到超平面距离的公式：

d=∣∣ωTx+b∣∣∥ω∥

---

补充：样本空间中一个点到超平面距离的公式证明

我们要求：点x0(x(1)0,x(2)0,...,x(n)0)到超平面的S:ωTx+b=0的距离d。
先设点x1是点x0在超平面S上的投影，则肯定满足：ωTx1+b=0。
由于点x1是x0的投影，所以x0x1−→−−与超平面S垂直，则x0x1−→−−与超平面S的法向量平行。
我们知道超平面S的法向量是：ω=(ω1,ω2,...,ωn)。

|ω∗x0x1−→−−|=（∥ωT∥）∗|x0x1−→−−|∗cos<ω,x0x1−→−−>

由于平行，两向量的夹角为0度或者180度，|cos<ω,x0x1−→−−>|=1.
所以：

|ω∗x0x1−→−−|=（∥ωT∥）∗|x0x1−→−−|=（∥ω∥）∗d(1)

又因为：

ω∗x0x1−→−−=ω1(x(1)1−x(1)0)+ω2(x(2)1−x(2)0)+...+ωn(x(n)1−x(n)0)=(ω1x(1)1+ω2x(2)1+...+ωnx(n)1)−(ω1x(1)0+ω2x(2)0+...+ωnx(n)0)

这里要用到前面的条件了，因为x1是超平面S内的点：

ωTx1+b=0ω1x(1)1+ω2x(2)1+...+ωnx(n)1+b=0

所以得到：

ω∗x0x1−→−−=−(ω1x(1)0+ω2x(2)0+...+ωnx(n)0)−b=−(ωTx0+b)(2)

(1)和(2)式子两者联立：

|ω∗x0x1−→−−|=（∥ω∥）∗d=|−(ωTx0+b)|

所以：

d=|ωTx0+b|∥ω∥

---

上面推导出了任意点x到超平面的距离，接着往下走。
假设有一个超平面H:ωTx+b=0能正确地将样本划分开来，那么同时也肯定存在两个平行于H的平面H1和H2：

H1:ωTx+b=1H2:ωTx+b=−1

距离超平面H距离最近的正负样本正好就分别在H1和H2上，而这样的样本就是支持向量。

那么，假设超平面能将正负样本正确分类，则要满足如下条件：
对于任意样本(xi,yi)有，若yi=1，即为正样本，满足ωTxi+b>0；若yi=−1，即为负样本，满足ωTxi+b<0。
令：

{ωTxi+b≥1,yi=+1ωTxi+b≤−1,yi=−1(3)

使用之前推出的任意点x到超平面的距离的公式，不难发现，超平面H1和H2之间的距离是：

d=2∥ω∥

这个东西就叫做间隔(margin)。
而SVM的目标是就是找到一个超平面，使得间隔取到最大值，同时也要能保证正确地划分正负样本。

对偶问题

既然我们的目标是最大化间隔(margin)，那么可以给出如下问题：

maxω,b2∥ω∥s.t.yi(ωTxi+b)≥1,i=1,2,...,m

其中的约束条件：yi(ωTxi+b)≥1由前面的式子(3)的约束条件推导得到。
欲最大化2∥ω∥，那么等价于最小化∥ω∥，那么也等价于最小化∥ω∥2。
那么上面的优化问题可以改写为：

minω,b∥ω∥22s.t.yi(ωTxi+b)≥1,i=1,2,...,m

好的，上示就是SVM的基本型。
接下来考虑如何求解这个问题，找到最合适的ω和b。
我们要用到拉格朗体乘数法进行求解，由于约束条件中还带有不等式约束，所以还需要考虑KKT条件。

---

补充：拉格朗日乘数法与KKT条件

通常的优化问题有三种：

• 无约束优化问题：
  
  minxf(x)
• 约束条件有等式优化问题：
  
  minxf(x)s.t.hi(x)=0,i=0,1,...,n
• 约束条件有不等式优化问题：
  
  minxf(x)s.t.hi(x)=0,gi(x)≤0,i=0,1,...,n

分别考虑这几种情况吧：
无约束优化问题：求导，令导数为0，求得的解就是极值，随后从中选出最优解。
约束条件有等式优化问题：使用拉格朗日乘数法，把等式约束 hi(x) 乘以一个拉格朗日系数并与 f(x) 加在一个式子中，这个函数称为拉格朗日函数，而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。

L(a,x)=f(x)+a∗hi(x)

约束条件有不等式优化问题：同样使用拉格朗体乘数法，最常使用的就是KKT条件。与前面一样，将所有等式约束与不等式约束和f(x)写为一个函数，拉格朗日函数。通过一些条件，这些条件是可以求出最优值的必要条件，这个条件就是KKT条件。

L(a,b,x)=f(x)+a∗gi(x)+b∗hi(x)

我们主要考虑的就是约束条件有不等式优化问题，毕竟我们的SVM的基本式就是有不等式约束。

拉格朗日乘数法

假设给出如下问题：

minxf(x)s.t.hi(x)=0,gi(x)≤0,i=0,1,...,n

对于等式约束与不等式约束，将其与f(x)组合，构成拉格朗日函数：

L(a,b,x)=f(x)+a∗gi(x)+b∗hi(x)

。
对各参数求导取0，联立求得最优值。

KKT条件

对于含有不等式约束的优化问题，将其转换为对偶问题：

maxa,bminxL(a,b,x)s.t.ai≥0,i=1,2,...,n

其中L(a,b,x)为拉格朗日函数。

L(a,b,x)=f(x)+a∗gi(x)+b∗hi(x)

KKT条件就是说，原始问题的最优值x∗与对偶问题最优值a∗和b∗要满足如下关系：
1. ∇xL(a∗,b∗,x∗)=0,∇aL(a∗,b∗,x∗)=0,∇bL(a∗,b∗,x∗)=0；
2. a∗gi(x∗)=0；
3. gi(x∗)≤0；
4. ai≥0,hj(x)=0；
当原始问题和对偶问题的解都满足KKT条件，并且f(x)，g(x)都是凸函数是，原始问题与对偶问题的解相等。

下面简单证明一下：
就用前面给出的问题：

minxf(x)s.t.hi(x)=0,gi(x)≤0,i=0,1,...,n

我们可以构造函数：

L(a,b,x)=f(x)+a∗gi(x)+b∗hi(x)

由于KKT条件还要有a≥0。
我们发现：

maxa,bL(a,b,x)=maxa,b(f(x)+a∗gi(x)+b∗hi(x))

由于hi(x)=0，所以maxa,bb∗hi(x))=0。
由于gi(x)≤0，a≥0，所以maxa,ba∗gi(x))=0。（这也正是拉格朗日常数的用意所在，只有在a∗g(x)=0时L(a,b,x)才能取到最大值，这是KKT的第二个条件）
最后发现：

maxa,bL(a,b,x)=maxa,bf(x)=f(x)

因此我们最初的目标函数可以改写为：

minxf(x)=minxmaxa,bL(a,b,x)

如下展开对偶式子maxa,bminxL(a,b,x)可以发现我们的优化是满足强对偶（对偶式子的最优值是等于原问题的最优值的）：
假设最后取得的最优值是x∗

maxa,bminxL(a,b,x)=maxa,bminx(f(x)+a∗gi(x)+b∗hi(x))=maxa,b(minxf(x)+a∗minxgi(x)+b∗minxhi(x))=(maxa,bf(x∗)+maxa,b(a∗minxgi(x))+maxa,b(b∗minxhi(x)))

由于hi(x)=0，所以maxa,b(b∗minxhi(x))=0。
由于gi(x)≤0，a≥0，所以maxa,b(a∗minxgi(x))=0。
所以上式变为：

maxa,bminxL(a,b,x)=(maxa,bf(x∗))=f(x∗)=minxmaxa,bL(a,b,x)

这里就证明了，原问题与对偶问题的最优值是相同的。
原问题可以转换为对偶问题求解

---

好的，回到SVM的问题上来。
我们希望优化的问题是：

minω,b∥ω∥22s.t.yi(ωTxi+b)≥1,i=1,2,...,m

建立拉格朗日函数：

L(ω,b,α)=∥ω∥22+∑i=1mαi∗(1−yi(ωTxi+b))

其中α=(α1,α2,...,αm)为拉格朗日常数，且由KKT条件有：α≥0。
令L(ω,b,α)分别对ω和b求导取0：
这里涉及矩阵求导，不了解请自行百度

∂L∂ω=∂(12ωTω)∂ω+∂∑mi=1αi∂ω−∂∑mi=1αiyiωTxi∂ω−∂∑mi=1αiyib∂ω=ω−∑i=1mαiyixi=0

∂L∂b=∂(12ωTω)∂b+∂∑mi=1αi∂b−∂∑mi=1αiyiωTxi∂b−∂∑mi=1αiyib∂b=−∑i=1mαiyi=0

所以得到两个式子;

ω=∑i=1mαiyixi

0=∑i=1mαiyi

将它们代回到拉格朗日函数中，可以消去ω和b：

L(ω,b,α)=∥ω∥22+∑i=1mαi∗(1−yi(ωTxi+b))=12ωTω+∑i=1mαi−∑i=1mαiyiωTxi−∑i=1mαiyib=12ωT∑i=1mαiyixi+∑i=1mαi−∑i=1mαiyiωTxi−b∑i=1mαiyi=−12ωT∑i=1mαiyixi+∑i=1mαi−b∗0=∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxixj

接下来求原问题的对偶问题：

maxαminω,bL(ω,b,α)=maxαminω,b(∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxixj)=maxα(∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxixj)

KKT条件:

α≥0,∑i=1mαiyi=01−yi∗f(xi)≤0,αi∗(1−yi∗f(xi))=0

到这里SVM的模型已经出来了。现在我们的问题是如何求出这些α。有许多程序工具包可以帮助我们求解出合适的α参数，当然还有一种十分快速高效的算法：SMO。我们不妨先放一放这个问题，先从结果分析看看。
我们可以求出α，随后套用前面的公式求出ω和b：

ω=∑i=1mαiyixib=yi−ωT∗xi

观察一下不难发现，这里的b可能有很多个解，因为每一个样本集(xi,yi)都会对应一个b的可能取值。
实际中采用一种更鲁棒的方法，即取所有的支持向量求解的b的均值：
假设S={i|αi>0,i=1,2,...,m}为最后求得的支持向量集合。因为非支持向量的点对应的αi=0，所以去掉那一部分，只保留支持向量即可求得b。

b=1|S|∑s∈S(ys−∑i∈SαiyixTixs)

最后得到模型：

f(x)=ωTx+b=∑i=1mαiyixTix+b

由KKT条件：

{α≥0αi∗(1−yi∗f(xi))=0

分类讨论可以知道，只有可能有两种情况：
- αi=0，此时这个样本在模型中不起作用，因为结果是0。
- αi>0，那么，一定有1−yi∗f(xi)=0，则：yi∗f(xi)=1。表示这个样本在最大间隔边界上，是支持向量。
在这个模型中，除了支持向量的αi>0以外，其他样本都不起作用。如此一来，大部分样本都不会被保留，只会保留支持向量。

这次就先到这里吧，下次在介绍svm的核函数、软间隔以及SMO算法等概念。前面推导分析了基本的SVM模型，也介绍了拉格朗日常数法与KKT条件的应用。不得不说，打公式很累啊。

参考资料：
《机器学习》周志华
http://blog.csdn.net/dawnranger/article/details/53133450