【斯坦福---机器学习】复习笔记之顺序最小优化算法
来源:互联网 发布:淘宝非标品类目 编辑:程序博客网 时间:2024/06/01 10:39
本讲大纲:
1.核(kernels)
2.软边界(soft margin)
3.SMO算法(SMO algorithm)
1.核
属性(attributes):原始的输入值(房价的例子中,x,住房的面积)
特征(features):由原始数据映射的一些数据
用来表示特征映射,例如:
用代替x.
定义核为:
是很容易计算的,即使计算的代价很大(高维向量). 在这种设定中,在算法中用一个很高效的方法计算,我们可以让SVM在高维特征中学习,而不用显示的表示出.
假设,
可以写成,
以n=3为例,
直观上来说,如果和很近,我们可能认为很大,相反,如果很远–几近正交,则很小. 因此,我们可以认为可以看作是和相似度的一种测量. 例如,或许选择,,这是一种合理的测量方法,当x和z很近时值接近于1,很远时值接近0. 在特定的例子中是可以作为SVM的核的. (这个核叫做高斯核 Gaussian kernel,映射到一个无限维的特征)
定理(Mercer):给定K,是给定的,对于一个确定的核,它的充分必要条件是相应的核矩阵式对称半正定的.
利用核的例子:
数字的识别,分类字符
2.软边界
正则化和不可分的例子(regularization and the non-separable case)
到目前为止,我们讨论SVM时认为数据是线性可分的, 把数据映射到高维空间一般会增加线性可分的可能性,但是我们不能保证一定可以.
左图显示的是一个最优间隔分类器,但是如果在左上区域加上一个异常值,决定边界线会发生剧烈的变化,
导致分类器有更小的边界.
为了使算法能够处理非线性可分的数据集并且对异常值不会这么敏感, 修订优化问题如下:
因此,样本现在允许边界小于1.
3.SMO算法
SMO(sequential minimal optimization)算法起源于SVM, John Platt起初了一个高效解决对偶问题的方法.
坐标上升(Coordinate ascend)
对于没有限制的优化问题:
,除了用梯度上升和牛顿方法,还能使用坐标上升算法:
下图是坐标上升执行的一个过程:
这是我们要解决的对偶问题:
这里不能直接使用坐标上升算法,因此(19)的限制. 因此我们至少要同时改变两个才能满足限制. 因此:
SMO算法之所以高效是能够很高效的计算出ai,aj.
以改变a1,a2为例,(常数),a1、a2的限制如下图所示:
得到:
之后计算出a1的值.
- 【斯坦福---机器学习】复习笔记之顺序最小优化算法
- 【斯坦福---机器学习】复习笔记之生成学习算法
- 【斯坦福---机器学习】复习笔记之朴素贝叶斯算法
- 【斯坦福---机器学习】复习笔记之牛顿方法
- 【斯坦福---机器学习】复习笔记之最优间隔分类器
- 【斯坦福---机器学习】复习笔记之经验风险最小化
- 【斯坦福---机器学习】复习笔记之特征选择
- 【斯坦福---机器学习】复习笔记之牛顿方法
- 【斯坦福---机器学习】复习笔记之监督学习应用.梯度下降
- (斯坦福机器学习课程笔记)EM算法
- 【斯坦福---机器学习】复习笔记之欠拟合和过拟合的概念
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 吴恩达机器学习之顺序最小化优化算法
- (斯坦福机器学习课程笔记)牛顿法算法学习
- 斯坦福机器学习教程学习笔记之1
- 斯坦福机器学习教程学习笔记之2
- 51la流量获取链接
- Hibernate-主配置文件
- == 和 Equals 的区别
- 第三周项目二顺序表算法库
- 如何删除windows service (How to delete a windows service)
- 【斯坦福---机器学习】复习笔记之顺序最小优化算法
- maven 复制
- A very hard mathematic problem
- PX4(PIXHAWK)源码开发人员文档(二)——Hello Sky
- 解决FileInputStream 读取文件中文乱码问题
- Linux正则表达
- HDU 5446-Unknown Treasure(Lucas+中国剩余定理)
- this
- 使用Android Studio的硬件配置