支持向量机之非线性支持向量机（四）

非线性支持向量机与核函数

可看之前关于支持向量机的基础资料：
线性可分支持向量机
对偶学习算法
线性支持向量机

核技巧

对于非线性分类问题，可以转换成线性问题求解。
首先，将原始特征空间数据映射到新的空间
然后，在新的空间利用线性可分支持向量机方法求解

核函数

设X是输入空间，设H是特征空间，如果存在一个从X−>H的映射:ϕ(x):X−>H
使得对所有的x,zϵX，核函数满足：

K(x,z)=ϕ(x)∗ϕ(z)

则称K(x,z)是核函数，ϕ(x)为映射函数，ϕ(x)∗ϕ(z)为内积

在学习中一般情况核函数有自己定义输入的。

核函数应用到支持向量机

线性支持向量机的对偶问题是：

换成核函数只需要将上面的<xi,xj>的内积换成K(xi,xj)

目标函数是：

w(α)=12∑Ni=1∑Nj=1αiαjK(xi,xj)−∑Ni=1αi

分类决策函数是：

f(x)=sign(∑Ni=1α∗iyiK(xi,x))+b∗

常用到的核函数

1.多项式核函数（polynomial kernel function）

K(x,z)=(a∗x∗z+b)p

a,b,p是常数，p一般取3，有个理论是：三次函数可以拟合出任意形式的函数。
2.高斯核函数(Gaussian kernel function)

K(x,z)=exp(−||x−z||22σ2)

σ也是自己输入的
对应的支持向量机是高斯径向基函数（radial basis function，简称RBF）分类器

这两个比较常见的

点击查看大量核函数介绍

非线性支持向量机分类器

最优化问题：
目标函数是：

minα12∑Ni=1∑Nj=1αiαjK(xi,xj)−∑Ni=1αi
s.t.∑Ni=1αiyi=0
0<=αi<=C,i=1,2,...,N

最优解：

α∗=(α∗1,α∗2,...,α∗N)

选择α∗的一个正分量0<α∗j<C

b∗=yj−∑Ni=1α∗iyiK(xi,xj)

决策函数：

f(x)=sign(∑Ni=1α∗iyiK(xi,x))+b∗

下面的问题是如何求解α

序列最小最优化算法，且听下回讲解。