SVM中的核函数

---

---

hit2015spring晨凫追风

欢迎关注我的博客：http://blog.csdn.NET/hit2015spring

在训练样本是线性可分的情况下，这时候直接用原始属性就能把这些特征区分开来。但是有一部分的属性就是无法在其现有属性的基础上分开，于是就要把这些属性通过ϕ(x)映射到一些高维的特征空间中,“横看成岭侧成峰”嘛，原始的x就是横看，变换函数ϕ(x)的作用就是”侧看”。这时候需要优化的目标函数就是：

minw,b12∥w∥2s.t.yi(wTϕ(xi)+b)≥1,i=1,2,3,⋯,m

它的对偶问题就是：

maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjϕ(xi)Tϕ(xj)s.t.∑i=1mαiyi=0αi≥0,i=1,2,⋯,m

上面式子中涉及到了计算在新的空间里面属性的内积计算，这样就带来了计算的问题，于是就引入了核函数k<⋅,⋅>

k(xi,xj)=⟨ϕ(xi),ϕ(xj)⟩=ϕ(xi)Tϕ(xj)

上面的式子说明了xi和xj在特征空间的内积等于它们在原始样本空间中通过核函数计算得到。

这样就能得到下面的式子：

maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjk(xi,xj)s.t.∑i=1mαiyi=0αi≥0,i=1,2,⋯,m

求解后得到的是：

f(x)=wTϕ(x)+b=∑i=1mαiyik(xi,x)+b

既然核函数有这样好的性质，那我们自然要去寻找到底满足什么样的条件的函数可以作为核函数：对于输入空间，k(,)是定义在X×X上的对称函数，对于任意的数据D=x1,x2,⋯,xm核矩阵K总是半正定的，此时k是核函数。
满足两个条件：

对称函数核矩阵半正定