支持向量机通俗导论(理解SVM的三层境界)
来源:互联网 发布:搜狗拼音输入法软件 编辑:程序博客网 时间:2024/05/22 01:40
http://www.cnblogs.com/v-July-v/archive/2012/06/01/2539022.html#3249541
作者:July、pluskid;致谢:Wind、白石。支持向量机通俗导论(理解SVM的三层境界)
出处:结构之法算法之道blog。
前言
动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,从5月22日凌晨两点在微博上说我要写了,到此刻真正动笔要写此文,中间竟然隔了近半个月(而后你会发现,我写完此文又再得花半个月,前后加起来,写这个SVM便要花近一个月)。原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清楚,尽管网上已经有不少朋友已经写得不错了(见文末参考链接..),但在描述数学公式的时候还是显得不够。得益于同学白石的数学证明,我还是想尝试写一下,希望本文在兼顾通俗易懂的基础上,真真正正能足以成为一篇完整概括和介绍支持向量机的导论性的文章。
本文作为Top 10 Algorithms in Data Mining系列第二篇文章,将主要结合支持向量机导论、数据挖掘导论及网友的Free Mind的支持向量机系列而写(于此,还是一篇读书笔记,只是加入了自己的理解,有任何不妥之处,还望海涵),宏观上整体认识支持向量机的概念和用处,微观上深究部分定理的来龙去脉,证明及原理细节,力求深入浅出 & 通俗易懂。
同时,本文,亦即理解SVM分三层境界,
- 第一层、了解SVM(你只需要对SVM有个大致的了解,知道它是个什么东西便已足够);
- 第二层、深入SVM(你将跟我一起深入SVM的内部原理,通宵其各处脉络,以为将来运用它时游刃有余);
- 第三层、证明SVM(当你了解了所有的原理之后,你会有大笔一挥,尝试证明它的冲动);
最后谈谈SVM的应用,编码实现及开源工具libsvm,以此逐层深入,从而照顾到水平深浅度不同的读者,在保证浅显直白的基础上尽可能深入,还读者一个明明白白透透彻彻的SVM,希望我能做到。还是那句原话,有任何问题,欢迎任何人随时不吝指正 & 赐教,谢谢。
导论、从人工智能到机器学习
根据支持向量机导论一书的介绍,人工资能领域的研究者们很早就开始研究了学习问题。Alan Turing在1950年就指出了学习器的思想,以反驳Lady Lovelace的“机器只会做我们指挥它们做的事情”,意思是电脑只会执行人们输入给它的指令,不具备任何学习能力。而Turing则评论道:学习器的一个重要特征便是,其施教者对于内部实际的运转过程中在很大程度上的确是无知的,而受教者的行为在一定程度上却是预测的。仅仅在数年后,初始的学习器便被开发了出来,比如Arthur Samuel的跳棋程序便是强化学习的一个早期例子,Frank Rosenblatt的感知机包含了下一章讲讨论的系统的许多特征。特别要指出,把学习问题建模使其成为适当假设空间中的搜索问题便是人工智能方法的特点。
学习算法的发展使得它本身成为了人工智能的一个重要的子领域,并最终形成了机器学习这样一个独立的学科。而什么是数据挖掘呢?
数据挖掘是机器学习、数据库和统计学三者结合的产物,数据挖掘首先要确定挖掘的任务或目的,确定了挖掘任务之后,就要决定使用什么样的挖掘算法,选择了算法之后便可以实施数据挖掘操作,获取有用的信息或模式。其实,很多时候,分类可以被称之为机器学习领域内的一种学习方法,也可以被称之为数据挖掘领域内的一种算法,两者之间,并不是井水不犯河水。
机器学习是一个不断学习发展加深的过程,正如一个读书人学习SVM的时候,他看书的境界分为三层,如先读数据挖掘导论,而后他觉讲得太浅,于是去读支持向量机导论,甚而,他觉还是不够,于是他去读数据挖掘中的新方法:支持向量机,最后,他又会觉得纸上终觉浅,于是他会尝试去证明它,再继续,他会去写代码如何实现他,然后到了某一天,他还是觉得不够,他总觉得这个算法哪里有缺陷,然后他想着怎么才能去优化他,他甚至会幻想某一天,他也能发明创造出这样一个算法,就好了。
Ok,扯远了,如上面所述读书人读SVM有几层境界一样,下面,本文就分三层理解SVM的境界慢慢展开此文。
第一层、了解SVM
1.0、什么是支持向量机SVM
然在进入第一层之前,你只需了解什么是支持向量机SVM就够了,而要明白什么是SVM,便得从分类说起。
分类作为数据挖掘领域中一项非常重要的任务,目前在商业上应用最多(比如分析型CRM里面的客户分类模型,客户流失模型,客户盈利等等,其本质上都属于分类问题)。而分类的目的则是学会一个分类函数或分类模型(或者叫做分类器),该模型能吧数据库中的数据项映射到给定类别中的某一个,从而可以用于预测未知类别。
说实话,上面这么介绍分类可能你不一定内心十分清楚。我来举个例子吧,比如心脏病的确诊中,如果我要完全确诊某人得了心脏病,那么我必须要进行一些高级的手段,或者借助一些昂贵的机器,那么若我们没有那些高科技医疗机器怎么办?还怎么判断某人是否得了心脏病呢?
当然了,古代中医是通过望、闻、问、切“四诊”,但除了这些,我们在现代医学里还是可以利用一些比较容易获得的临床指标进行推断某人是否得了心脏病。如作为一个医生,他可以根据他以往诊断的病例对很多个病人(假设是500个)进行彻底的临床检测之后,已经完全确定了哪些病人具有心脏病,哪些没有,同时,在这个诊断的过程中,医生理所当然的记录了他们的年龄,胆固醇等10多项病人的相关指标。那么,以后,医生可以根据这些临床资料,对后来新来的病人通过检测那10多项年龄、胆固醇等指标,以此就能推断或者判定病人是否有心脏病,虽说不能达到100%的标准,但也能达到80、90%的正确率,而这一根据以往临场病例指标分析来推断新来的病例的技术,即成为分类classification技术。
其实,若叫分类,可能会有人产生误解,以为凡是分类就是把一些东西或样例按照类别给区分开来,实际上,分类方法是一个机器学习的方法,分类也成为模式识别,或者在概率统计中成为判别分析问题,或许会让人们消除此类误解。
假定是否患有心脏病与病人的年龄和胆固醇水平密切相关,下表对应10个病人的临床数据(年龄用[x1]表示,胆固醇水平用[x2]表示):
这样,问题就变成了一个在二维空间上的分类问题,可以在平面直角坐标系中描述如下:根据病人的两项指标和有无心脏病,把每个病人用一个样本点来表示,有心脏病者用“+”形点表示,无心脏病者用圆形点,如下图所示:
如此我们很明显的看到,是可以在平面上用一条直线把圆点和“+”分开来的。当然,事实上,还有很多线性不可分的情况,下文将会具体描述。
So,本文将要介绍的支持向量机SVM算法便是一种分类方法。
- 所谓支持向量机,顾名思义,分为两个部分了解,一什么是支持向量(简单来说,就是支持 or 支撑平面上把两类类别划分开来的超平面的向量点,下文将具体解释),二这里的“机”是什么意思。我先来回答第二点:这里的“机(machine,机器)”便是一个算法。在机器学习领域,常把一些算法看做是一个机器,如分类机(当然,也叫做分类器),而支持向量机本身便是一种监督式学习的方法(什么是监督学习与非监督学习,请参见第一篇),它广泛的应用于统计分类以及回归分析中。
对于不想深究SVM原理的同学(比如就只想看看SVM是干嘛的),那么,了解到这里便足够了,不需上层。而对于那些喜欢深入研究一个东西的同学,甚至究其本质的,咱们则还有很长的一段路要走,万里长征,咱们开始迈第一步吧(相信你能走完)。
1.1、线性分类
OK,在讲SVM之前,咱们必须先弄清楚一个概念:线性分类器。
这里我们考虑的是一个两类的分类问题,数据点用
x 来表示,这是一个n 维向量,而类别用y 来表示,可以取 1 或者 -1 ,分别代表两个不同的类。一个线性分类器就是要在n 维的数据空间中找到一个超平面,其方程可以表示为:wTx+b=0
但即使我已经给出了线性分类器的定义及公式,相信,仍然是有相当一部分读者是不知所谓的超平面(w,b)中w,和b所指是何物的?但本文尽量不留遗漏,以期尽量将有必要了解的技术细节原原本本的和盘托出,如下:
- 上面已经说过,两类问题的分类通常用一个实值函数f:(R^n即指n唯平面)按照这样的方式操作:当f(x)>=0,输入想x=(x1,...xn)‘赋给正类,否则赋给负类,考虑当f(x),x属于X是线性函数的情况,函数可以写为:f(x)=<w,b> + b。这个式子的几何解释是,<w,x>+b=0所定义的超平面讲输入空间X(各种点)分为两半。
- 也就是说,超平面是维数为n-1的仿射子空间,它将空间分为两部分,这两部分对应输入中两类不同的点,对应着超平面上面的正区域和超平面下面的负区域,当b的值变化时,超平面平行于自身移动,示意图如下(注意体会途中w,b的几何意义,我之前曾以为在实际应用SVM的过程中,所谓调参就是调这里的w,b,而后意识到其实不是如此,而是如Wind所说的,核函数的选择、惩罚因子C的大小,或者比如采用高斯核函数的时候,参数主要是核函数的\gamma变量以及权衡系数C):
1.2、线性分类的一个例子
来理论可能读者看不懂,咱们来直接举一个例子吧,且举最简单的例子,一个二维平面(一个超平面,在二维空间中的例子就是一条直线),如下图所示,平面上有两种不同的点,分别用两种不同的颜色表示,一种为红颜色的点,另一种则为蓝颜色的点,红颜色的线表示一个可行的超平面。
从上图中我们可以看出,这条红颜色的线把红颜色的点和蓝颜色的点分开来了。而这条红颜色的线就是我们上面所说的超平面,而现在的情况是,这个所谓的超平面的的确确便把这两种不同颜色的点分隔开来,换句话说,事实上,是存在这样一个超平面可以把两类数据分隔开来的,比如,在超平面一边的数据点所对应的
- 当然,有些时候(或者说大部分时候)数据并不是线性可分的,这个时候满足这样条件的超平面就根本不存在(不过关于如何处理这样的问题我们后面会讲),这里先从最简单的情形开始推导,就假设数据都是线性可分的,亦即这样的超平面是存在的。
1.3、Functional margin与Geometrical margin
从几何直观上来说,由于超平面是用于分隔两类数据的,越接近超平面的点越“难”分隔,因为如果超平面稍微转动一下,它们就有可能跑到另一边去。反之,如果是距离超平面很远的点,例如图中的右上角或者左下角的点,则很容易分辩出其类别。
结合上图,我们直接定义 functional margin 为
- 对 functional margin 为 γˆ=y(wTx+b)=yf(x)的解释:上面直接给出它的定义并没有说明来由,其实这是有来头的。一般来说,我们定义:样例(xi,yi)对应于超平面(w,b)的函数的间隔量为:γˆ=y(wTx+b)。注意,γˆ>0意味着(xi,yi)被正确分类,超平面(w,b)对应于训练集S的函数的间隔分布就是训练集S中样例的间隔分布。有时,所谓间隔分布的最小值指超平面(w,b)对应于训练集S的函数的间隔。最终,训练集S的间隔是在所有超平面上的最大几何间隔,实现这个最大间隔的超平面称之为最大间隔超平面,对于线性可分的训练集来说,间隔的值都讲是正值。下图是xi,xj分别到超平面的几个间隔距离γi,γj:
下面不妨来看看functional margin与geometrical margin二者之间的关系。如图所示,对于一个点
又由于
- OK,我来推到下上述式子的代入过程:因为f(x)=w^T+b,把x=x0+r*w/||w||代入f(x)得,f(x)=f(x。+r *w / ||w||) = w^T(x0+ r* w/ ||w||) +b = w^T*x0 + w^T*r*w/ ||w|| + b = w^T*r*w/||w||=r*||w||,所以γ=f(x)/||w||=(w^T*b)/||w||。证毕。
不过,这里的
- 因为γˆ=y(wTx+b)=yf(x),所以γ˜=yγ=(y*f(x))/||w||=γˆ/||w||。
1.4、最大间隔分类器Maximum Margin Classifier的定义
通过上文,我们已经很明显的看出,functional margin 和 geometrical margin 相差一个
不过这里我们有两个 margin 可以选,不过 functional margin 明显是不太适合用来最大化的一个量,因为在 hyper plane 固定以后,我们可以等比例地缩放
当然,还需要满足一些条件,根据 margin 的定义,我们有
其中
通过求解这个问题,我们就可以找到一个 margin 最大的 classifier ,如下图所示,中间的红色线条是 Optimal Hyper Plane ,另外两条线到红线的距离都是等于
到此,算是完成了 Maximum Margin Classifier 的介绍,通过最大化 margin ,我们使得该分类器对数据进行分类时具有了最大的 confidence 。OK,可能你还是不很清楚:这个最大分类间隔期到底是用来干嘛的呢?很简单,SVM 通过使用最大分类间隙Maximum Margin Classifier 来设计决策最优分类超平面,以获得良好的推广能力。
很快,你就会发现,用SVM 实现主动学习, 采取何种采样算法是关键, 如何选择新的样本进行评价直接关系到整个算法的性能. 另外, 交互SVM 法需要一些初始样本进行最初分类器的设计, 一般可以通过先验知识或随机采样得到. 例如, 在文本分类中, 可以通过关键词匹配的方法进行挑选。
通过上文的介绍,我想你已经清楚SVM具体算法流程,如下所示:
- 根据初始条件构造初始训练样本集, 保证至少包含有一个正例样本和一个负例样本;
- 根据已知训练样本集寻找最优分类超平面, 设计SVM 分类器;
- 如果与分界面邻近的缝隙中仍有样本点, 则选择离分类边界最近的样本进行评价, 将该样本加入训练样本集, 并回到第2 步;
- 从全部训练样本中重复随机选择一个样本进行评价, 并将该样本加入训练集(对已评价过的样本只计数, 不用再次评价) , 利用分类器对样本进行评价, 若分类器的评价结果与真实评价不一致, 则回到第2 步;
- 重复第4 步, 若连续N 次评价一致, 算法停止.
So,对于什么是Support Vector Machine ,我们可以先这样理解,如上图所示,我们可以看到 hyper plane 两边的那个 gap 分别对应的两条平行的线(在高维空间中也应该是两个 hyper plane)上有一些点,显然两个 hyper plane 上都会有点存在,否则我们就可以进一步扩大 gap ,也就是增大
1.5、到底什么是Support Vector
上节,我们介绍了Maximum Margin Classifier,但并没有具体阐述到底什么是Support Vector,本节,咱们来重点阐述这个概念。咱们不妨先来回忆一下上次最后一张图:
可以看到两个支撑着中间的 gap 的超平面,它们到中间的纯红线 separating hyper plane 的距离相等,即我们所能得到的最大的 geometrical margin
很显然,由于这些 supporting vector 刚好在边界上,所以它们是满足
1.6、SVM的简化版SMO算法
上面讲得有点散乱,接下来,我引用一位网友的比较简洁连贯的语言总结下SVM的简化版SMO算法,如下(如果你暂时不是看得很懂,没关系,本文剩下部分会进一步阐释):
一个SVM简化版SMO算法的目的无非是找出一个函数f(x),这个函数能让我们把输入的数据x进行分类。既然是分类肯定需要一个评判的标准,比如分出来有两种情况A和B,那么怎么样才能说x是属于A类的,或不是B类的呢?就是需要有个边界,就好像两个国家一样有边界,如果边界越明显,则就越容易区分,因此,我们的目标是最大化边界的宽度(或者如上问1.4节所说的最大间隔分类器),使得非常容易的区分是A类还是B类。
在SVM中,要最大化边界则需要最小化这个数值:
(注,这个式子等价于下文2.4节中的 )
- w:是参量,值越大边界越明显
- C代表惩罚系数,即如果某个x是属于某一类,但是它偏离了该类,跑到边界上后者其他类的地方去了,C越大表明越不想放弃这个点,边界就会缩小
- 代表:松散变量
但问题似乎还不好解,又因为SVM是一个凸二次规划问题,凸二次规划问题有最优解,于是问题转换成下列形式(KKT条件):
上面的ai是拉格朗日乘子(问题通过拉格朗日乘法数来求解):
- 对于(a)的情况,表明ai是正常分类,在边界内部(我们知道正确分类的点yi*f(xi)>=0)
- 对于(b)的情况,表明了ai是支持向量,在边界上
- 对于(c)的情况,表明了ai是在两条边界之间
- yiui>=1但是ai>0则是不满足的而原本ai=0
- yiui=1但是ai=0或者ai=C则表明不满足的,而原本应该是0<ai<C
- yiui<=1但是ai<C则是不满足的,而原本ai=C
因此,我们通过另一个方法,即同时更新ai和aj,满足以下等式
就能保证和为0的约束。
同时,利用yiai+yjaj=常数,消去ai,可得到一个关于单变量aj的一个凸二次规划问题,不考虑其约束0<=aj<=C,可以得其解为:
这里表示旧值,然后考虑约束0<=aj<=C可得到a的解析解为:
对于
那么如何求得ai和aj呢?
对于ai,即第一个乘子,可以通过刚刚说的那几种不满足KKT的条件来找,第二个乘子aj可以找满足条件
b的更新:
在满足条件:下更新b。
最后更新所有ai,y和b,这样模型就出来了,然后通过函数:
输入是x,是一个数组,组中每一个值表示一个特征。
输出是A类还是B类(正类还是负类)。SVM的简单实现的话,可以看看这里(本节的总结也来自它)。
OK,到此为止,算是了解到了SVM的第一层,对于那些只关心怎么用SVM的同学便已足够,不必再更进一层深究其更深的原理。
第二层、深入SVM
2.1、从线性可分到线性不可分
当然,除了在上文中所介绍的从几何直观上之外,支持向量的概念也可以从其优化过程的推导中得到。虽然上文1.4节给出了目标函数,却没有讲怎么来求解。现在就让我们来处理这个问题。回忆一下之前得到的目标函数:
这个问题等价于(在这里加上平方,一个系数,显然这两个问题是等价的):
- 到这个形式以后,就可以很明显地看出来,它是一个凸优化问题,或者更具体地说,它是一个二次优化问题——目标函数是二次的,约束条件是线性的。这个问题可以用任何现成的 QP (Quadratic Programming) 的优化包进行求解。所以,我们的问题到此为止就算全部解决了。
- 虽然这个问题确实是一个标准的 QP 问题,但是它也有它的特殊结构,通过 Lagrange Duality 变换到对偶变量 (dual variable) 的优化问题之后,可以找到一种更加有效的方法来进行求解——这也是 SVM 盛行的一大原因,通常情况下这种方法比直接使用通用的 QP 优化包进行优化要高效得多。此外,在推导过程中,许多有趣的特征也会被揭露出来,包括刚才提到的 supporting vector 的问题。
至于上述提到,关于什么是Lagrange duality,简单地来说,通过给每一个约束条件加上一个 Lagrange multiplier,我们可以将它们融和到目标函数里去
然后我们令
、
容易验证,当某个约束条件不满足时,例如
这里用
当然,交换以后的问题不再等价于原问题,这个新问题的最优值用
首先要让
带回
此时我们得到关于 dual variable
如前面所说,这个问题有更加高效的优化算法,不过具体方法在这里先不介绍,让我们先来看看推导过程中得到的一些有趣的形式。首先就是关于我们的 hyper plane ,对于一个数据点
w=∑ni=1αiyixi
因此分类函数[1]为:
这里的形式的有趣之处在于,对于新点 x的预测,只需要计算它与训练数据点的内积即可(⋅,⋅表示向量内积),这一点至关重要,是之后使用 Kernel 进行非线性推广的基本前提。此外,所谓 Supporting Vector 也在这里显示出来——事实上,所有非 Supporting Vector 所对应的系数 α 都是等于零的,因此对于新点的内积计算实际上只要针对少量的“支持向量”而不是所有的训练数据即可。
为什么非支持向量对应的
注意到如果
把上述所有这些东西整合起来,便得到了一个maximum margin hyper plane classifier,这就是所谓的支持向量机(Support Vector Machine)。当然,到目前为止,我们的 SVM 还比较弱,只能处理线性的情况,不过,在得到了 dual 形式之后,通过 Kernel 推广到非线性的情况就变成了一件非常容易的事情了。
2.2、核函数Kernel
咱们首先给出核函数的来头:
- 在上文中,我们已经了解到了SVM处理线性可分的情况,而对于非线性的情况,SVM 的处理方法是选择一个核函数
κ(⋅,⋅) ,通过将数据映射到高维空间,来解决在原始空间中线性不可分的问题。由于核函数的优良品质,这样的非线性扩展在计算量上并没有比原来复杂多少,这一点是非常难得的。当然,这要归功于核方法——除了 SVM 之外,任何将计算表示为数据点的内积的方法,都可以使用核方法进行非线性扩展。
也就是说,Minsky和Papert早就在20世纪60年代就已经明确指出线性学习器计算能力有限。为什么呢?因为总体上来讲,现实世界复杂的应用需要有比线性函数更富有表达能力的假设空间,也就是说,目标概念通常不能由给定属性的简单线性函数组合产生,而是应该一般地寻找待研究数据的更为一般化的抽象特征。
而下文我们将具体介绍的核函数则提供了此种问题的解决途径,从下文你将看到,核函数通过把数据映射到高维空间来增加第一节所述的线性学习器的能力,使得线性学习器对偶空间的表达方式让分类操作更具灵活性和可操作性。我们知道,训练样例一般是不会独立出现的,它们总是以成对样例的内积形式出现,而用对偶形式表示学习器的优势在为在该表示中可调参数的个数不依赖输入属性的个数,通过使用恰当的核函数来替代内积,可以隐式得将非线性的训练数据映射到高维空间,而不增加可调参数的个数(当然,前提是核函数能够计算对应着两个输入特征向量的内积)。
- 首先使用一个非线性映射将数据变换到一个特征空间F,
- 然后在特征空间使用线性学习器分类。
2.2.1、如何处理非线性数据
在2.1节中我们介绍了线性情况下的支持向量机,它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过,由于是线性方法,所以对非线性的数据就没有办法处理了。举个例子来说,则是如下图所示的两类数据,分别分布为两个圆圈的形状,这样的数据本身就是线性不可分的,你准备如何把这两类数据分开呢(下文将会有一个相应的三维空间图)?
上图所述的这个数据集,就是用两个半径不同的圆圈加上了少量的噪音生成得到的,所以,一个理想的分界应该是一个“圆圈”而不是一条线(超平面)。如果用
注意上面的形式,如果我们构造另外一个五维的空间,其中五个坐标的值分别为
关于新的坐标
2.2.2、特征空间的隐式映射:核函数
再进一步描述 Kernel 的细节之前,不妨再来看看这个例子映射过后的直观例子。当然,你我可能无法把 5 维空间画出来,不过由于我这里生成数据的时候就是用了特殊的情形,具体来说,我这里的超平面实际的方程是这个样子(圆心在
因此我只需要把它映射到
现在让我们再回到 SVM 的情形,假设原始的数据时非线性的,我们通过一个映射
现在则是在映射过后的空间,即:
而其中的
这样一来问题就解决了吗?似乎是的:拿到非线性数据,就找一个映射
不妨还是从最开始的简单例子出发,设两个向量
另外,我们又注意到:
二者有很多相似的地方,实际上,我们只要把某几个维度线性缩放一下,然后再加上一个常数维度,具体来说,上面这个式子的计算结果实际上和映射
之后的内积
- 一个是映射到高维空间中,然后再根据内积的公式进行计算;
- 而另一个则直接在原来的低维空间中进行计算,而不需要显式地写出映射后的结果。
回忆刚才提到的映射的维度爆炸,在前一种方法已经无法计算的情况下,后一种方法却依旧能从容处理,甚至是无穷维度的情况也没有问题。
我们把这里的计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数 (Kernel Function) ,例如,在刚才的例子中,我们的核函数为:
核函数能简化映射空间中的内积运算——刚好“碰巧”的是,在我们的 SVM 里需要计算的地方数据向量总是以内积的形式出现的。对比刚才我们上面写出来的式子,现在我们的分类函数[2]为:
其中
这样一来计算的问题就算解决了,避开了直接在高维空间中进行计算,而结果却是等价的!当然,因为我们这里的例子非常简单,所以我可以手工构造出对应于
最理想的情况下,我们希望知道数据的具体形状和分布,从而得到一个刚好可以将数据映射成线性可分的
当然,说是“胡乱”选择,其实是夸张的说法,因为并不是任意的二元函数都可以作为核函数,所以除非某些特殊的应用中可能会构造一些特殊的核(例如用于文本分析的文本核,注意其实使用了 Kernel 进行计算之后,其实完全可以去掉原始空间是一个向量空间的假设了,只要核函数支持,原始数据可以是任意的“对象”——比如文本字符串),通常人们会从一些常用的核函数中选择(根据问题和数据的不同,选择不同的参数,实际上就是得到了不同的核函数),例如:
- 多项式核
,显然刚才我们举的例子是这里多项式核的一个特例( )。虽然比较麻烦,而且没有必要,不过这个核所对应的映射实际上是可以写出来的,该空间的维度是 ,其中 是原始空间的维度。 - 高斯核
,这个核就是最开始提到过的会将原始空间映射为无穷维空间的那个家伙。不过,如果 选得很大的话,高次特征上的权重实际上衰减得非常快,所以实际上(数值上近似一下)相当于一个低维的子空间;反过来,如果 选得很小,则可以将任意的数据映射为线性可分——当然,这并不一定是好事,因为随之而来的可能是非常严重的过拟合问题。不过,总的来说,通过调控参数 ,高斯核实际上具有相当高的灵活性,也是使用最广泛的核函数之一。 - 线性核
,这实际上就是原始空间中的内积。这个核存在的主要目的是使得“映射后空间中的问题”和“映射前空间中的问题”两者在形式上统一起来了。
2.2.3、核函数的直白总结
- 线性的模型是说,希望找到一个分类器f,使得f(x)=y ,注意,这里是在原始的特征空间里面直接做分类
- 非线性的模型是说,我能不能找到一个非线性的映射函数phy() ,先把特征线性x映射到一个新的空间去,然后在那分类 ,那么就是找个新的函数g,使得g( phy(x) )=y,这里phy(x)就是把x从原始空间经过非线性的映射到了新的空间 ,那么一般在求解分类器g的时候,需要计算新的空间里面的内积 《phy(x1),phy(x2),而之所以要计算内积,是因为分类器g的求解,最后一般转化为内积《phy(x1),phy(x2)》的表达式,所以知道了内积,才能求得分类器的解。
2.3、使用松弛变量处理 outliers 方法
在本文第一节最开始讨论支持向量机的时候,我们就假定,数据是线性可分的,亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据,在上文2.2节使用 Kernel 方法对原来的线性 SVM 进行了推广,使得非线性的的情况也能处理。虽然通过映射
用黑圈圈起来的那个蓝点是一个 outlier ,它偏离了自己原本所应该在的那个半空间,如果直接忽略掉它的话,原来的分隔超平面还是挺好的,但是由于这个 outlier 的出现,导致分隔超平面不得不被挤歪了,变成途中黑色虚线所示(这只是一个示意图,并没有严格计算精确坐标),同时 margin 也相应变小了。当然,更严重的情况是,如果这个 outlier 再往右上移动一些距离的话,我们将无法构造出能将数据分开的超平面来。
为了处理这种情况,SVM 允许数据点在一定程度上偏离一下超平面。例如上图中,黑色实线所对应的距离,就是该 outlier 偏离的距离,如果把它移动回来,就刚好落在原来的超平面上,而不会使得超平面发生变形了。具体来说,原来的约束条件
现在变成
其中
其中
用之前的方法将限制加入到目标函数中,得到如下问题:
分析方法和前面一样,转换为另一个问题之后,我们先让
将
不过,由于我们得到
理解到这第二层,已经能满足绝大部分人一窥SVM原理的好奇心,然对于那些想在证明层面理解SVM的则还很不够,但进入第三层理解境界之前,你必须要有比较好的数理基础和逻辑证明能力,不然你会跟我一样,吃不少苦头的。
第三层、证明SVM
说实话,凡是涉及到要证明的东西.理论,便一般不是怎么好惹的东西。绝大部分时候,看懂一个东西不难,但证明一个东西则需要点数学功底,进一步,证明一个东西也不是特别难,难的是从零开始发明创造这个东西的时候,则显艰难(因为任何时代,大部分人的研究所得都不过是基于前人的研究成果,前人所做的是开创性工作,而这往往是最艰难最有价值的,他们被称为真正的先驱。牛顿也曾说过,他不过是站在巨人的肩上。你,我则更是如此)。
OK,以下内容基本属于自己在看支持向量机导论一书的理解,包括自己对一些证明的理解,可看做是读书笔记。
3.1、感知机算法
.......
预告:
本文正在不断迭代,增补中,预计6月中旬初步完成。请待后续更新、修补,谢谢。二零一二年六月四日凌晨一点。
- 理解SVM的三层境界-支持向量机通俗导论
- 理解SVM的三层境界-支持向量机通俗导论
- 理解SVM的三层境界-支持向量机通俗导论
- 理解SVM的三层境界-支持向量机通俗导论
- 理解SVM的三层境界-支持向量机通俗导论
- SVM支持向量机通俗导论(理解SVM的三层境界)
- (转)支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- jQuery源码分析之jQuery.makeArray函数
- 启动Apache时提示No space left on device
- 问题:java类为什么要继承Serializable接口
- 一键修改安卓唯一识别号androidid的简单教程
- 堆、栈与队列
- 支持向量机通俗导论(理解SVM的三层境界)
- 聚类的一些评价手段
- PDF生成嵌套表格,分页,自定义字体等综合应用
- Xcode7 You must rebuild it with bitcode enabled (Xcodesetting ENABLE_BITCODE)
- oracle各种报错信息
- 聚类算法之K-means
- 牛顿法
- Speak Time——记8月英语
- 大白话解析模拟退火算法