【理论】支持向量机4:Outliers —— 介绍支持向量机使用松弛变量处理 outliers 方法
来源:互联网 发布:葡萄牙 法国 知乎 编辑:程序博客网 时间:2024/05/18 01:54
【原文:http://blog.pluskid.org/?p=692】
在最开始讨论支持向量机的时候,我们就假定,数据是线性可分的,亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据,使用 Kernel 方法对原来的线性 SVM 进行了推广,使得非线性的的情况也能处理。虽然通过映射
用黑圈圈起来的那个蓝点是一个 outlier ,它偏离了自己原本所应该在的那个半空间,如果直接忽略掉它的话,原来的分隔超平面还是挺好的,但是由于这个 outlier 的出现,导致分隔超平面不得不被挤歪了,变成途中黑色虚线所示(这只是一个示意图,并没有严格计算精确坐标),同时 margin 也相应变小了。当然,更严重的情况是,如果这个 outlier 再往右上移动一些距离的话,我们将无法构造出能将数据分开的超平面来。
为了处理这种情况,SVM 允许数据点在一定程度上偏离一下超平面。例如上图中,黑色实线所对应的距离,就是该 outlier 偏离的距离,如果把它移动回来,就刚好落在原来的超平面上,而不会使得超平面发生变形了。具体来说,原来的约束条件
现在变成
其中
其中
用之前的方法将限制加入到目标函数中,得到如下问题:
分析方法和前面一样,转换为另一个问题之后,我们先让
将
不过,由于我们得到
和之前的结果对比一下,可以看到唯一的区别就是现在 dual variable
- 【理论】支持向量机4:Outliers —— 介绍支持向量机使用松弛变量处理 outliers 方法
- 支持向量机:Outliers
- 支持向量机:Outliers
- 支持向量机_4:Outliers
- [Free Mind]支持向量机:Outliers
- 支持向量机系列四:Outliers
- 线性支持向量机思想与公式推导(Outliers)
- 支持向量机松弛变量的理解
- 支持向量机(二)——松弛变量处理异常点
- 【理论】支持向量机2: Support Vector —— 介绍支持向量机目标函数的 dual 优化推导,并得出“支持向量”的概念
- 【理论】支持向量机3:Kernel —— 介绍核方法,并由此将支持向量机推广到非线性的情况
- 支持向量机介绍
- 【理论】支持向量机1: Maximum Margin Classifier —— 支持向量机简介
- 【理论】支持向量机7:Kernel II —— 核方法的一些理论补充
- 公开课机器学习笔记(14)支持向量机四 软间隔松弛变量
- 支持向量机专题——线性支持向量机
- 支持向量机(SVM)介绍
- 支持向量机(SVM)介绍
- JAVA获取本机信息
- 广州传智播客.Net培训教学特色
- Codeforces Round #230 (Div. 1)B,C
- cocos2dx + eclipse + win7 环境搭建
- 用setw( )设置字段宽
- 【理论】支持向量机4:Outliers —— 介绍支持向量机使用松弛变量处理 outliers 方法
- 语音云开放平台又送奖品了,真的还是假的,围观下~
- 几种TCP连接中出现RST的情况
- ContentProvider学习
- JbossCache使用
- c位域
- Myeclipse下去掉SVN用户名和密码
- 并查集 -- 学习详解
- android 关于网络连接之传输数据节省电量2