机器学习十大经典算法支持向量机SVM(Support victor machine)(下篇)

我们把所有样本点中间隔最小的那一点的间隔定为1，也就意味着集合中的其他点间隔都不会小于1，于是不难得到有不等式：yi[<w,xi>+b]≥1 (i=1,2,…,l)总成立。于是上面的问题便转化成了求条件最优化问题：

下面添加一个简单的例题来说明一下理想情况下的解题思路:













对于以上所述的SVM，处理能力还是很弱，仅仅能处理线性可分的数据。如果数据线性不可分的时候，我们就将低维的数据映射向更高的维次，以此使数据重新线性可分。这转化的关键便是核函数。

找不到一个超平面（二维空间：直线）将其分割开来，而很自然的想到可以用一个椭圆将数据分为两类



Z1=X1, Z2=X12, Z3=X2, Z4=X22, Z5=X1X2
(X1,X2) ——> (Z1, Z2, Z3, Z4, Z5,)
即将：R2空间映射到R5空间。
此时，总能找到一个超平面wT Z + b = 0
wT = {a1， a2， a3， a4， a5}T ，b = a6
使得数据很好的分类。
核函数：
概念：x,z∈X, X属于Rn空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F属于Rm，n<