线性可分支持向量机（二）

基本概念

在线性可分支持向量机（一）中，我们研究的是最理想的情况，即被分类的两类样本点没有交叉，能够完全被分离超平面给分离。但实际上的情况一般都不是那么理想，可能找不出一个完美的分离超平面。有可能有样本点位于分离超平面的另一侧。此时，我们所追求的就是软间隔最大化。

软间隔最大化

根据博文一的分析，在寻找到支持向量并做出超平面后，对于正确分类的点，它必定满足 。现在存在一些不能满足函数间隔大于1的点，可以引入一个松弛变量ξi，使得 。可以看出，这个ξi实际上就是误分类点到正确分类的间隔边界的距离。
与此同时，要在目标优化函数上加上一个代价，则目标函数变为了 。实际上，这个等式包含两项，第一项代表了结构风险最小化，第二项则代表了经验风险最小化。目标函数里的C>0，被叫做惩罚系数，它用来调和两个风险之间的关系。所以，这个目标函数包含了两层意思，一是希望间隔尽量大，二是使误分类个数点尽量少。
线性不可分的支持向量机问题就变为了如下凸二次规划问题：
-
- ，i=1,2,…,N
，i=1,2,…,N

以上二次规划问题的拉格朗日函数为：

同样的，先求L对ω，b，ξ的偏倒数，得到

将以上三式带回到拉格朗日函数中，最后得到原问题的对偶问题：
-
-



从对偶问题可以看到，原式中的ξi，已经被消掉了。
从三个约束可以得出关于α的约束：0<= αi <=C。
对比一下博文一硬件隔支持向量机，唯一差别就在于对αi的约束上。自然的，求解过程也类似，不同地方在于对于硬间隔，选取αi时只考虑它大于0就行。而对于软间隔，则还必须满足αi<=C这个约束条件。
具体计算过程可参考博文一。

合页损失函数

首先注意一个问题，对于松弛变量ξi，如果一个样本点被正确分类了，那么对应的ξi应该为0。
根据约束条件， ，则，原来的优化问题可以表示为：

上边第二项代表值为正时为它本身，值为负时等于0，其意义在于当样本点被正确分类且函数间隔大于1时，损失为0，否则损失为 。
而这个函数，就被称为合页损失函数，其名字是根据函数图像形状而得称的。