Machine Learning第七周笔记：支持向量机

博客已经迁移到Marcovaldo’s blog (http://marcovaldong.github.io/)

今天在Cousera上学习了Machine Learning的第七周课程，这一周主要介绍了支持向量机（support vector machine），将学习笔记整理在下面。

Support Vector Machine

Large Margin Classification

Optimization Objective

我们通过逻辑回归来引出支持向量机。下图给出了逻辑回归的hθ(x)及其图像，我们将其中的θTx记为z。从training set中取出一组数据（x(i), y(i)），若有y(i)=1，则我们应该得到hθ(x)≈1，观察图像可知θTx≫0；相反，若有y(i)=0，则我们应该得到hθ(x)≈0，观察图像可知θTx<<0。

我们来对逻辑回归的损失函数做一下分析，先在下面给出损失函数：

Jθ(x)=−ylog11+e−θTx−(1−y)log(1−11+e−θTx)

从training set中取出一组数据（x(i), y(i)），当y(i)=1时，损失函数的第二项为0，此时损失函数就变成了−log11+e−z，下图左侧为其图像。观察图像可以看到，当给z一个越来越大的值时，函数值变得越来越接近0。现在我们将函数调整为图像中红线对应的函数，叫做cost1(z)。当y(i)=0时，损失函数的第一项为0，此时损失函数就变成了−(1−y)log(1−11+e−z)，下图右侧为其图像。观察图像可以看到，当给z一个越来越小的值时，函数值变得越来越接近0。现在我们将函数调整为图像中红线对应的函数，叫做cost0(z)。那么以前求解hypothesis过程中用到的损失函数

minθ1m[∑i=1my(i)(−loghθ(x(i)))+(1−y(i))((−log(1−hθ(x(i)))))]+λ2m∑j=1nθ2j

调整为

minθ1m[∑i=1my(i)cost1(θTx)+(1−y(i))cost0(θTx)]+λ2m∑j=1nθ2j

此时得到的这个函数就是我们在支持向量机中用到的损失函数，求解此最小值问题得到的θ就是SVM的参数。对于给定的training set，1m是一个固定值，其值不影响最终求得的θ，所以我们将其省掉。

Large Margin Intuition

首先给出SVM的损失函数：

在逻辑回归中，我们的初衷是对于training set中的任何一组数据(x(i), y(i))，若y(i)=1，则应该有θTx>0，而在SVM中改成了θTx>1；若y(i)=0，则应该有θTx<0，而在SVM中改成了θTx<−1。在SVM中多出来的这个1保证了其训练出来的参数\theta应该可以更好的拟合数据。

首先假设损失函数中的参数C是一个很大的值，我们来观察SVM是如何工作的。在对损失函数最小化的过程中，我们需要让∑mi=1[y(i)cost1(θTx(i))+(1−y(i))cost0(θTx(i))]尽可能的趋近于0，此时我们的目标求解下面的最优化问题：

min　12∑i=1nθ2j

s.t.　θTx(i)≥1　if　y(i)=1

θTx(i)≤−1　if　y(i)=0

我们来看下图中的例子，图中的数据点是线性可分的，也就是说可以找到无数条直线（无数个超平面）来将两个类别完全分开。在下图中画出的三条decision boundary中，黑色直线所表示的那条要优于另外两条，因为它更robust地将两个类别分开了。图中两条蓝色直线分别表示两个类别中数据点与黑色decision boundary的最小距离，这一距离称作SVM中分类超平面关于training set的函数间隔。多个超平面也就对应多个函数间隔，我们将其中最大的函数间隔称作最大函数间隔。因此我们要做的就是找到最大间隔及其对应的最大间隔分离超平面，这个最大间隔分离超平面就是我们最终得到的hypothesis。

Mathematics Behind Large Margin Classification

这一小节我们来介绍SVM涉及到的一些数学，着有助于理解SVM中的最优化目标，帮助我们更快的找到最大间隔分离超平面。我们来回顾一下内积的概念。下图给出了两个二维向量并在坐标系中画出了他们。图中红色线段p表示向量v在向量u上的投影，两个向量的内积可以表示为

uTv=p⋅∥u∥=u1v1+u2v2

其中∥u∥=u21+u22−−−−−−√2。而在第二个坐标系中，p是负的。

回到SVM，下图给出了要求解的优化问题，给出了θTx(i)的向量内积表示（这里我们取x(i)和、theta都是二维的）：

所以原来的优化问题就转换成了下图所示的优化问题。，给定一个training set，下图给出了两个decision boundary。在图像中选择两个数据点(x(1), y(1))和(x(2), y(2))，画出分别对应的p(1)和p(2)。可以看到，左下侧中p(1)和p(2)的绝对值都很小，为了满足优化函数中的条件函数，会使得∥θ2∥的值变得很大，这恰好和我们的目标矛盾。而右下侧中p(1)和p(2)的绝对值都比较大，所以我们就可以选择一个更小的∥θ2∥来满足我们的目标。这就在数学上解释了右下侧的decision boundary为什么会优于左下侧的decison boundary。

Kernels

Kernel Ⅰ

这一小节我们来介绍处理线性不可分的数据集时经常用到的核技巧（kernel trick）。
在没有学习核技巧的情况下，我们需要引入一个多项式来表示decision boundary。

现在我们在坐标系中选定三个点l(1)，l(2)，l(3)作为landmark，由此出发去产生新的特征。至于选定landmark的标准我们后面再给出。具体的方法是对于给定的x有新的特征f1=similarity(x,l(1))，f2=similarity(x,l(2))和f3=similarity(x,l(3))，下图给出了由gaussian kernel给出的fi。当然我们也可以选择其他的kernel来定义。当x很接近l(1)时（即有x≈l(1)），有f1≈1；当x距离l(1)很远时，有f1≈0。对于另外两个特征也是一样，对于training set中任何一个数据都可以通过这种方式来获得新的特征值。

我们给出一个例子，如下图所示。给出了l(1)，f1的定义，图像中的横纵坐标为x的两个维度，第三个维度代表新的特征值。只有当x=l(1)时，其对应的新特征值f1达到1，随着x越来越远离l(1)，x对应的新特征值逐渐趋向于0。比较σ2的不同取值下的三维图像可知，随着σ2的增大，f1的取值在l(1)的周围变化得快，图像变得尖锐；随着σ2的减小，f1的取值在l(1)的周围变化得慢，图像变得平缓。

现在我们将前面的东西应用到分类上，假设现在我们的hypothesis如下图所给公式，其中θ=(−0.5,1,1,0)T。我们在图像中选出3个数据点，分别计算它们和3个landmarks的相似度，带入hypothesis得到对数据点的分类。利用这种方法，我们可以把坐标系中的数据点分成两类：红色曲线包围的是一类，其余的是一类。

Kernel Ⅱ

现在我们介绍如何选取landmark。下图给出了具体过程：给定training set，其中包含m个数据点。选择m个landmark，其中l(i)=x(i)。

下图给出了使用了kernel的SVM：

上面的方法不适用于很大的training set，例如数据量m为5000，那就会有5000个landmark，相应的参数θ的维度也是5000，求解参数则需要特别大的计算量。现在我们来讨论一下参数C(=\frac{1}{\lambda})和Gaussian kernel中σ2的选取：

SVMs in Practice

Using An SVM

这一小节我们介绍如何实际应用SVM。现在在不同的语言环境下已经有很多求解SVM参数的包供我们使用，现在我们来讨论一下C和kernel的选取。（linear kernel是指我们在使用SVM时没用引入kernel）当我们选取Gaussian kernel时，我们考虑σ2的选取，以做到对bias-variance的权衡：当σ2取值比较大时，hypothesis偏向于high bias；当σ2取值较小时，hypothesis倾向于high variance。当特征值不多，training set较大时，Gaussian kernel可能是个较好的选择。当模型含有的特征数量很大时，核函数的计算量变得很大，这时就不适合用Gaussian kernel了。

并不是所有的similarity function都能构造有效的kernel，kernel需要满足Mercer’s Theorem以保证SVM中的优化问题有解。这里给出了使用率较高的几种kernel：polynomial kernel/string kernel/chi-square kernel/histogram，但最常用的还是linear kernel和Gaussian kernel。

Andrew Ng是从逻辑回归出发去介绍的SVM，所以这里的SVM看起来更像是逻辑回归的一个变形，我会在以后的文章中给出对SVM的介绍。