机器学习:SVM学习笔记(三)
来源:互联网 发布:海关数据库的企业代码 编辑:程序博客网 时间:2024/06/02 07:29
机器学习:SVM学习笔记(三)
前面在谈到SVM的时候,谈到了SVM中的权重W最终可以表示成为训练数据的线性组合。恰好,PLA和逻辑回归的最终的权重系数也可以表示成为训练数据的权重组合,如下图所示。
不存在这么完美的恰巧,为什么上面的表达可以表示成为这样的呢?这里是因为上面的三个model的目标函数的组成是有相同之处的:L2正则化+约束条件。必须的要求就是前面的正则化必须是L2范式的,不论他的约束条件是什么样子的,都可以最终表示成为训练数据的线性组合。这个定理就是表示定理:
上面我们给出了一个表达式,前面的目标函数最终的目标是L2,至于约束条件,不管他。假设最终得等到的结果W表示成为w*,注意w*是可行解范围内最小的w,也就是说不可能存在一个w比w*更优秀使得目标最小化。首先定义span(Zn)表示训练数据集线性组合的平面,将w*分解成为两部分,这两个部分必须是基向量,也就是相互垂直,前面的那部分表示和span(Zn)平行,后面的表示和span(Zn)垂直。那么后面的那个误差项,就是绿色表示中Zn和W垂直的相乘为0.下面的那部分,红色的区域可定时0,蓝色的区域可定于0,那么就有了比w*更加优秀的w,这还了得?注意我们想要的是什么?就是w可以表示成为训练数据的线性组合,对吧,因为Zn就是训练数据的线性组合啊,当然让垂直的那部分为0啊,那就是想让和Zn垂直的那个w为0不就好了吗?那就再回来看看。让w(垂直)为0看看,绿色的框框表达为0,后面的那个大于号也就变成了等号。
既然w最终的表达式是训练数据样本的线性组合,那么我们就可以继而得到L2model都可以去用核方法,去高维空间玩玩,得到更好的结果。因为在前面谈到SVM的时候,最终的结果如下所示,都可以转化到高斯核,这里的原因都是一样的。
- 机器学习:SVM学习笔记(三)
- 机器学习笔记-SVM
- 机器学习笔记:SVM
- 机器学习:SVM学习笔记
- 【机器学习笔记】SVM part1: 线性SVM
- 《机器学习》学习笔记(三):支持向量机(SVM)
- 机器学习笔记_ SVM
- 机器学习笔记(3)-SVM
- 机器学习(三) --- SVM学习:模型求解
- SVM学习笔记(三)---核函数
- 机器学习入门学习笔记:(4.1)SVM算法
- 机器学习笔记(三)
- 机器学习21-svm的核函数(三)
- 机器学习第七周(三)--using SVM
- 机器学习总结(三)——SVM
- 机器学习(七):SVM
- 机器学习----SVM(1)
- 机器学习(一):SVM
- C#List泛型集合
- IllegalThreadStateException: Thread already started解决
- DDMS android 开发工具-----dump View Hierarchy for UI automator
- JS创建对象的几种方式
- Mysql入门第四课 视图和存储程序
- 机器学习:SVM学习笔记(三)
- c++中的delete []异常
- How a Cursor becomes Bind Aware?
- JAVA HTTPClient PostMethod 中文乱码问题解决方法
- Java实现栈结构详细代码
- uestc876爱管闲事【区间dp】
- 空间直方图Meanshift跟踪—代码
- TreeSet练习题
- LoadRunner之并发用户数与迭代关系