机器学习技法-3-Kernel Support Vector Machine

第一小节其实没啥，挺简单的，目的应该是简化运算，我的理解比较肤浅，但感觉就是简化运算了而已

zTz′=ϕ2(x)Tϕ2(x′)=1+xTx′+(xTx′)2

先计算 xTx′ 再计算 ϕ2(x)Tϕ2(x′)，就会简单的多！
dual SVM问题转化成kernel SVM，就是把原来dual SVM问题中zn,ϕ(x)全都转换成K(xT,x′)=1+(xTx′)+(xTx′)2

---

这小节重点：Polynomial Kernel
这节讨论了多项式核，比二项式核复杂，不用管，一般只有二项式比较实用
特例，（一项式）线性核：K1(x,x′)=(0+1⋅xTx′)1
实用的二项式核：K2(x,x′)=(1+γxTx′)2
多项式核的一般式：KQ(x,x′)=(ζ+γxTx′)Q with γ>0 ζ≥0

---

本小节重点：无限维 高斯核 Gaussian Kernel

K(x,x′)=exp(−γ∥∥x−x′∥∥) with γ>0

习题中，讨论了γ→∞,Gaussian kernel

K(x,x′)=exp(−γ∥∥x−x′∥∥2)

Klim(x,x′)=∥∥x=x′∥∥

---

kernel是一种相似性，但不是所有的相似性都是kernel型
判断是kernel型，充要条件是K矩阵是对称和半正定的

对比三种类型的kernel优缺点：
线性核，简单，快速，不适用于不能线性分割的情况

K(x,x′)=xTx′

多项式核，比线性限制少，但计算量较大

K(x,x′)=(ζ+γxTx′)Q

高斯核，慢速，但是powerful

K(x,x′)=exp(−γ∥∥x−x′∥∥2)

最后的习题表明，所有kernel型的相似性都逃不出上面三种形式，不满足上述3种kernel型公式的，注意系数γ>0,ζ≥0,统统都不是kernel型！