SVM学习总结
来源:互联网 发布:淘宝可用微信付款吗 编辑:程序博客网 时间:2024/06/11 08:21
由上篇LR模型已知我们分类的思想就是找到一条直线可以将两个类分隔开来。那进一步想一想,如果想要使两个类不仅是区分开来,而且是要使最难分的点都能以足够大的确信度将它们分开,我们需要不仅仅是一条分解线,还要让这两个类在分界线两边可能的远离开来,就像两个类之间有一条沟一样,这样对未知数据也会有更好的分类预测能力。
支持向量机SVM实际上就在做这样一件事情,它就是一个在特征空间上的使分类间隔最大的线性分类器,他的核技巧使其也能进行非线性分类。按其模型的由简至繁,可分为三种:
- 线性可分支持向量机:适用于训练数据线性可分的情况,通过硬间隔最大化来学习模型。
- 线性支持向量机:适用于训练数据近线性可分的情况,通过软间隔最大化来学习模型。
- 非线性支持向量机:适用于训练数据线性不可分的情况,通过核技巧和软间隔最大化来学习模型。
关于硬间隔和软间隔最大化的概念后文详述。本文不涉及最优化问题如何解,只给出如何得到这三种模型的最优化问题。从最理想的线性可分的情况开始。
- 线性可分支持向量机
- 函数间隔几何间隔
- 硬间隔最大化
- 线性支持向量机软间隔最大化
- 合页损失函数 另一种解释
- 非线性支持向量机
- 线性可分支持向量机
线性可分支持向量机
顾名思义,使用本模型的前提是假设训练数据集是线性可分的,而我们的学习目标是在特征空间中(这里也就是输入空间)找到一个分割超平面,能将实例分到到不同的类中。
易知,线性可分支持向量机使用的分割超平面的方程为
使用的分类决策函数为
如下图所示,A、B都是这个训练集的分离超平面,我们训练的目的就是想要确定的就是A和B两条线中,谁能让这两个类别的分类间隔更大。
函数间隔&几何间隔
为了使分类间隔最大化,我们需要定义任意样本点到超平面的距离,同时一个点距离分离超平面的远近也可以用来表示分类预测的确信程度。
在超平面
超平面关于样本i的函数间隔表示为
对于给定的训练集和超平面,超平面关于样本点i的几何间隔为
因此定义超平面关于训练集的几何间隔为所有样本点中的几何间隔的最小值
硬间隔最大化
最大化几何(函数)间隔用数学方式可以表示为下述的约束最优化问题:
得到线性可分支持向量机学习的最优化问题:
上述模型只在训练集严格线性可分的情况下适用,实际的训练集若近似可分,会包含很多噪声和异点,上述不等式的约束不能都成立。因此需要将硬间隔最大化扩展到软间隔最大化以适应这种情况。
线性支持向量机&软间隔最大化
为了解决在训练集近似线性可分时,某些样本点不能满足函数间隔大于1的约束条件,可以对每个样本点引入一个松弛变量,使得最优化问题变为:
- C很大时,对误分类惩罚重,因此分类很准,但间隔小,易导致过拟合
- C不太大时,分类准确度下降,但间隔大,易导致欠拟合
考虑软间隔最大化下的支持向量
- 当支持向量在间隔边界上,其
ξ 为0,点距超平面的间隔为1 - 当支持向量在间隔边界与分割超平面之间,如点4点2,分类正确,
0<ξ<1 ,点距超平面的间隔在0-1之间 - 当支持向量在分割超平面误分的一侧,如点1点3,分类错误,
ξ>1 ,点距超平面的间隔<0
合页损失函数 – 另一种解释
由上面支持向量的分析,可知目标函数中的
目标函数中另一项是系数为
因此软间隔的目标函数也可以像LR那样理解是最小化二阶范数正则化的合页损失函数。
由上图可以看出,相较于LR的误差函数,合页损失函数不仅要求分类正确,而且需要确信度足够高时损失才为0(要求|z|>1),因此分类更加准确。
非线性支持向量机
对于非线性分类问题,可以通过非线性变换将他转为某个高维特征空间的线性分类问题,从而可以在高维特征空间中学习线性支持向量机。
常用的核函数有多项式核函数和高斯径向基核函数。高斯核函数如下:
- SVM(MATLAB) 学习总结
- SVM(MATLAB) 学习总结
- SVM学习总结
- SVM学习总结
- SVM入门学习总结
- SVM学习总结
- SVM学习总结
- 机器学习算法总结--SVM
- 机器学习算法总结--SVM
- 系统学习机器学习之SVM(四)--SVM算法总结
- SVM学习总结(一)如何学习SVM
- SVM学习总结(二)SVM算法流程图
- SVM学习总结(二)SVM算法流程图
- 机器学习(十四)SVM总结
- 【机器学习】支持向量机SVM总结
- 机器学习总结(三)——SVM
- SVM总结
- SVM总结
- jQuery实现点击全选和取消全选
- POJ3278Catch That Cow(BFS)
- leetcode-119. Pascal's Triangle II
- my ideas,so chaos..
- HDOJ5672
- SVM学习总结
- 重叠社区发现-LFM算法
- 汇编与驱动-采用SSDT Hook NtOpenProcess保护进程
- NYOJ 还是01背包(枚举+二分)
- hdoj2602 01背包
- HDUOJ1864最大报销额(01背包)
- hrbust/哈理工oj 1526 小猴和冒泡【归并排序】
- iOS学习笔记48-Swift(八)反射
- MySQL存储引擎