SVM——(六)软间隔目标函数求解
来源:互联网 发布:mysql官方手册中文版 编辑:程序博客网 时间:2024/05/22 10:23
1.什么是软间隔
我们之前谈到过两种情况下的分类:一种是直接线性可分的;另外一种是通过
在左图,直线A为该数据集下的最优解;但是,此时若出现一个异常点(中图所示),它将导致分类直线发生剧烈的摆动,虽然最终也达到了将数据集分开的效果,但这显然不是我们希望的。我们将其称之为硬间隔(hard margin),即不允许出现错分的情况,哪怕导致过拟合。所以,我们所期望的就是图右的这种情况:容许少量的错分,从而得到最优解,而这个容忍的则通过代价函数来调节。或者再极端一点就是,根本找不到超平面将其分开(不过拟合的前提下),必须得错分一些点。此时虚线与实现之间的间隔就称之为软间隔(soft margin)。
2.软间隔最大化
此时我们可以知道,如数据集中出现了异常点,必将导致该异常点的函数间隔小于1。所以,此时引入一个松弛变量(
那么此时的目标函数可以重新改写为如下形式:
其中
如先前一样,我们可以将其对应的广义拉格朗日函数写出:
其中,
则其对偶问题为:
推导:
由
注:
由
由
若
若
若
由以上3点分析可知:
由
关于参数
由
这几个求导相对容易,注意一下最后一个求导时的下标就好
得
将
关于
其中约束条件如下(因为这是保证
利用
推导完毕
对于对偶问题
于是,对于任意训练样本
若
若
若
黑色虚线表示硬间隔,红色虚线表示软间隔
事实上上面的几种情况可以总结成下面的3个条件:
3.求解参数
不论是前面说到的硬间还是现在的软间隔,最后都要最大化
不难发现只是一个二次规划问题,可以使用通用的二次规划算法来求解;然而,该问题的规模正比于训练样本数,这会在实际任务中造成很大的开销。为了避免这个障碍,人们通过利用问题本身的特性,提出了很多高效的算法,SMO(Sequential Minimal Optimization)是其中一个著名的代表。
不过为了避免一篇博客内容过于冗长,我并不打算继续在这篇博客中写下去。下一篇咱接着说。
SVM——(七)SMO(序列最小最优算法)
SVM——(六)软间隔目标函数求解
SVM——(五)线性不可分之核函数
SVM——(四)目标函数求解
SVM——(三)对偶性和KKT条件(Lagrange duality and KKT condition)
SVM——(二)线性可分之目标函数推导方法2
SVM——(一)线性可分之目标函数推导方法1
参考:
- Andrew Ng. CS229. Note3
- 《统计学习方法》李航
- 《机器学习》周志华
- SVM——(六)软间隔目标函数求解
- SVM——(四)目标函数求解
- SVM学习——软间隔优化
- SVM学习——软间隔优化
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- SVM入门(六)线性分类器的求解——问题的转化,直观角度
- 关于微信上投票怎样刷票及微信里投票的怎么刷票方法
- Centos之文件搜索命令find
- 通信原理之AD转换和PCM编码以及时分复用
- 汇编------中断
- 07 linux内核device-tree基础
- SVM——(六)软间隔目标函数求解
- python django-forbidden-csrf-cookie-not-set问题
- LeetCode.150 Calculate Reverse Polish Notation
- 连接oracle数据库
- 柯南博客——序
- 鼠标悬停整体旋转
- Java 8新特性终极指南
- WEB应用开发从入门到精通系列文章——前言篇
- 任务调度框架Quartz(一) Quartz——一个强大的定时任务调度框架