线性可分SVM与硬间隔最大化
来源:互联网 发布:wnba赛果数据 编辑:程序博客网 时间:2024/05/12 15:36
线性可分支持向量机
定义
给定线性可分训练数据集,通过间隔最大化或等价求解相应凸二次规划问题学习得到的分离超平面为
w∗⋅x+b∗=0
以及相应的分类决策函数
f(x)=sign(w∗⋅x+b∗)
称为线性可分支持向量机。
函数间隔与几何间隔
函数间隔
对于给定的训练数据集T和超平面(w,b),定义超平面(w,b)关于样本点
(xi,yi) 的函数间隔为
γ^i=yi(w⋅xi+b)
定义超平面(w,b)关于训练数据集T的函数间隔为超平面(w,b)关于T中所有样本点(xi,yi) 的函数间隔之最小值,即
γ^=mini=1,...,Nγ^i
函数间隔可以表示分类预测的正确性和确信度,但是选择分离超平面时,只有函数间隔还不够。因为成比例地改变w和b,超平面没有改变,函数间隔却变为2倍。
几何间隔
对分离超平面的法向量w进行约束,使得间隔是确定的,这时就成了几何间隔。
超平面关于样本点的几何间隔一般是实例点到超平面的带符号距离,当样本点被正确分类时,就是距离。
间隔最大化
最大间隔分离超平面
求一个几何间隔最大的分离超平面。
根据几何间隔与函数间隔关系,改写为
函数间隔
得到以下的线性可分SVM的最优化问题。
这是一个凸优化问题同时是一个凸二次规划问题。
支持向量和间隔边界
在线性可分情况下,训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量。也就是使得不等式约束
正例点和分例点支持向量所在的间隔边界之间的距离为
在决定分离超平面时,只有支持向量起作用。
学习的对偶算法
对于原始最优化问题,应用拉格朗日对偶性,通过求解对偶问题的到原始问题的最优解,这就是线性可分SVM的对偶算法。
优点
1. 对偶问题往往更容易求解
2. 自然引入和函数,进而推广到非线性分类问题
拉格朗日函数
拉格朗日对偶问题
根据拉格朗日对偶性,原始问题的对偶问题是极大极小问题:
为了得到对偶问题的解,先求L对w,b的极小,再求对a的极大
1. 求
将式(7.19)带入拉格朗日函数(7.18),并利用式(7.20),得
即
2. 求
将上式目标函数由求极大转成求极小,得到下面与之等价得对偶最优化问题。
由于原始问题(7.13)-(7.14)满足弱化的Slater条件,对偶问题(7.22)-(7.24)的最优值和原始问题最优值相同,设
由此得
其中至少由一个
将(7.27)带入(2.28),并有
由此,分离超平面可以写成
决策函数
也就是说,分类决策函数只依赖于输入x和训练样本输入的内积。式(7.30)称为线性可分SVM的对偶形式。
支持向量
训练集中对应于
由KKT互补松弛条件可以推得,支持向量一定在间隔边界上。
参考文献
《统计学习方法》第7章
- 线性可分SVM与硬间隔最大化
- 线性SVM与软间隔最大化
- 支持向量机(二)线性可分支持向量机与硬间隔最大化
- 支持向量机—线性可分支持向量机与硬间隔最大化
- 支持向量机 - 2 - 线性可分支持向量机与硬间隔最大化
- 机器学习第十课:支持向量机SVM(一)线性可分(硬间隔)SVM
- SVM 支持向量机(1) 硬间隔最大化
- SVM学习记录1:线性可分硬间隔最大化
- 线性可分svm原理详解
- SVM:如何判断线性可分
- 统计学习方法笔记:支持向量机之线性可分支持向量机与硬间间隔最大化
- SVM支持向量机原理(二) 线性支持向量机的软间隔最大化模型
- 线性可分与线性不可分
- 线性可分 与线性不可分
- SVM清晰讲解1__线性可分问题
- SVM边学边总结系列——线性可分情况
- SVM 支持向量机(1)--- 完全线性可分
- SVM 支持向量机(2)---不完全线性可分
- Unrecognised tag: 'pluginManagement'
- nginx配置
- java用JBarcode组件生成条形码(支持自定义字体及颜色)
- 决策树的特性及优缺点
- Python3之进程、线程
- 线性可分SVM与硬间隔最大化
- Tomcat和SpringMVC结果梳理和请求处理流程小结
- pthon连接mysql和sqlserver
- Android 动态设置Shape
- 在服务器上设置mongodb分片集群开机自启动
- C和指针习题4.14.1
- IO多路复用机制
- Mac 上的 MySQL 管理工具 -- Sequel Pro
- Centos更换yum源