【Soft-Margin Support Vector Machine】

仅作记录学习所用，非其他用途！！！

Hard-Margin的约束太强了：要求必须把所有点都分开。这样就可能带来overfiiting，把noise也当成正确的样本点了。

Hard-Margin有些“学习洁癖”，如何克服这种学习洁癖呢？

沿用pocket算法的思想，修改一下优化目标函数的形式，补上一个错分点的惩罚项CΣ...。

（1）C越大，对错误的容忍度就越小，margin越小

（2）C越小，对错误容忍度就越高，margin越大

因此引入的参数C是在large margin和noise tolerance之间做了一个权衡。

但是上面这种形式，有两个弊端：

（1）由于需要判断“等与不等”，所以是NP-hard Solution

（2）无法区分犯错点的错误程度

因此，引出了soft-margin的改进：

引入一个新的松弛因子kesi：

（1）既能解决学习洁癖的问题

（2）又能表示violation的程度是多少（kesi小于1还是分队的点，只不过此时点还在margin与hyperplane中间；kesi大于1表示分错了，越到hyperplance的另一端去了）

（3）还能转化成标准的QP问题，易于求解

接下来，沿用hard-margin dual svm的思路，把soft-margin SVM primal → dual。

由于不等式约束条件变成了两类，所以自然引入两个Largrange乘子；再沿用hard-margin的转化思路，转化成dual问题求解。

首先对kesi进行求导，化简原优化目标函数：

结论：

（1）利用对kesi求导为0的条件，把beta和kesi都去掉

（2）增加一个对alpha的约束条件

再进行接下来的化简，最终形式跟hard-margin很像。

不同之处在于对alpha增加了一个上界的约束条件。

一切看起来都比较顺利，但是在优化完成后，我们需要求解W和b。

W好求，问题的关键是b怎么求。

这里需要回顾KKT中的complementary slackness条件。

这里林直接给出来了，要free的那些SV（即满足kesi=0）来求解b；即对b求解有帮助的点，是真正在margin边界上的SV。

如果对之前SVM的complementary slackness内容不是很熟练，这块容易理解不好：为啥要分三类呢？下面记录下我的理解:

（1）当alphan=0的时候：

　　kesin必然等于0（为了满足(C-alphan)kesin=0）