机器学习算法（三）支持向量机

1、问题介绍

本文只涉及二分类支持向量机。

支持向量机问题可以分为三种情况来讨论：
1、硬间隔支持向量机：用于可以被一个超平面严格分开的问题中，又称为线性可分支持向量机
2、软间隔支持向量机：用于可以被一个超平面非严格分开的问题中，又称线性支持向量机
3、核支持向量机：用于可以被一个超曲面分开的问题中，又称非线性支持向量机

本文主要介绍硬间隔支持向量机。

所谓“可以被一个超平面严格分开”，以三维空间数据为例，就是如下图情况：

即可以找到一个分离超平面，将正负数据点分开。

假设我们有数据D={(x1,y1),(x2,y2),…,(xn,yn)},则x代表空间中的数据点，y代表该点的标签，它有两个取值，+1和-1。

我们要做的事就是找到一个如下分离超平面

y(x)=ωTϕ(x)+b

这个分离超平面有如下两个特点：
1、它可以将所有的正负例点分开
2、在满足1的基础上，令所有点中，距离它距离最小的点的距离最大。

简单概括，就是找到一个分离超平面，使点到面的“最小距离最大化”。

我们的目标就是找到这个超平面的ω和b。

2、目标函数分析

根据“最小距离最大化的”目标函数思想，可以写出支持向量机的目标函数如下式1：

max{mini[yi(wTϕ(x)+b)∥w∥]}

我们想要求的参数w与b可表述如下：

w,b=argmaxw,b{mini[yi(wTϕ(x)+b)∥w∥]}

对于目标函数，即公式1，我们总可以认为

miniyi(wTϕ(x)+b)=1

因此目标问题转化为：
求w和b,目标函数为

maxw,b1∥w∥

进行整理，最终成为如下约束最优化问题

minw,b12∥w∥2

s.t.yi(wTϕ(x)+b)≥1

对线性可分支持向量机而言，有ϕ(xi)=xi
以下要用到约束最优化求解的知识。
根据拉格朗日乘子法，可写出该规划问题的拉格朗日表达式：

L(w,b,α)=12∥w∥2−∑i=1nαi(yi(wTϕ(xi)+b)−1)

,其中

ai≥0

因此有
1、原问题：求

minw,b12∥w∥2

（s.t.yi(wTϕ(x)+b)≥1）
2、转化为求

minw,bmaxαL(ω,b,α)

3、根据拉格朗日对偶性，极小极大问题可以转化为极大极小问题。即转化为求公式2

maxαminW,bL(ω,b,α)

我们进行了一个如下过程的转换。（本文中W和w和ω都表示一个东西，手写软件不太给力）

minW,b12∥w∥2→minw,bmaxαL(ω,b,α)→maxαminW,bL(ω,b,α)

我们根据L(ω,b,α)写出方程式∂L∂ω=0和∂L∂b=0,可求出ω和b关于α的表达式，回代到公式2，可以整理成为如下约束规划问题。

minα12∑i=1n∑j=1nαiαjyiyj(ϕ(xi)ϕ(xj))−∑i=1nαi

S.t.∑i=1nαiyi=0,ai≥0

求出最优的α，就可以求出ω和b

3、线性支持向量机

对于不能被严格分开的正负样本点，我们只能期望找到一个分离超平面，尽可能地把它分开。如下图

可见，有些点是分错的，但我们允许这种错误。这种模型就是线性支持向量机，也称为软间隔支持向量机。仿照硬间隔支持向量机的格式，我们同样可以整理得到约束最优化问题如下：

minw,b,ξ12∥w∥2+C∑i=1nξ

s.t.yi(wTϕ(x)+b)≥1−ξiξi≥0

同理可整理出来拉格朗日形式的约束最优化问题如下：

minα12∑i=1n∑j=1nαiαjyiyj(ϕ(xi)ϕ(xj))−∑i=1nαi

S.t.∑i=1nαiyi=0,0≤ai≤C

对线性支持向量机而言，有ϕ(xi)=xi

两个小tips

1、这个C的调参数：

a.调小 过渡带变宽，可以防止过拟合
b.调大 过渡带变窄，可以提高精度

2、损失函数

对于分错的点，有一个损失ξ(见上图),对于支持向量机来说，其损失函数为

ξ=ξ1+ξ2+...+ξn

该损失函数又称为“合页损失函数”。

4、核支持向量机

以上两种模型的优化函数中，都有ϕ(xi)=xI，在核支持向量机中，有所不同。核支持向量机有不同的核，常用的是高斯核。核支持向量机和线性支持向量机的关系如下图：

在高斯核中，有

ϕ(xi)ϕ(xj)=exp⎛⎝⎜⎜−∥∥xi−xj∥∥22σ2⎞⎠⎟⎟