机器学习技法笔记--- Linear SVM
来源:互联网 发布:淘宝商品7天自动下架 编辑:程序博客网 时间:2024/06/05 06:41
1)引入
线性可分的情况下,下面哪条线(或者哪个面)算是最好的?
2)为什么选择的超平面(线)Hyperplane要离Xn最远?
因为如果未来的数据X ≈ 已测的数据Xn(也就是看做有一些测量误差noise),那么一旦超平面过近,就有可能导致分类错误
超平面越远,所容忍的噪声越多(噪声是导致过拟合的原因之一)
3)怎样的Hyperplane才算是最远?
可以看成把一根线不断地往两边加粗,直到某一边触及到数据点,我们要找的就是最粗的一条线
fat: far from both sides of examples. fatness: distance to closest Xn
4)用公式来表示largest-margin separating Hyperplane
W代表一个Hyperplane的参数,直接看成一个Hyperplane也行
yn是实际类别,WTXn是预测类别。两者乘积大于0代表要保证分类正确
margin是寻找超平面与最近的点的距离
5)承接上面,那distance怎么求呢?
5.1)我们再把W拆成两部分,一部分叫b=w0;另一部分是剩下的,仍然叫W
于是Hyperplane就是WTx + b = 0。。。
距离就是
点到平面的距离,不会请百度
5.2)那距离有个绝对值,不好算,那怎么去掉它呢,我们想到yn与WTx+b同号,于是
5.3)原始的式子就转换成如下的式子了:
6)放缩
6.1)超平面WTx + b = 0 和 3WTx + 3b = 0是同一个。
于是我们不断地放缩w和b,使得:
6.2)于是原来的式子又进一步转化为下面的式子:
6.3)再变一下形,就成了极小凸二次规划问题,可以用拉格朗日对偶法求解
- 机器学习技法笔记--- Linear SVM
- 林轩田--机器学习技法--SVM笔记1--线性支持向量机(linear+SVM)
- 机器学习技法 笔记一 linear support vector machine
- 《机器学习技法》学习笔记01——线性SVM
- 《机器学习技法》学习笔记02——对偶SVM
- 《机器学习技法》学习笔记03——核SVM
- 机器学习技法-Linear Support Vector Machine
- 林轩田--机器学习技法--SVM笔记2--对偶支持向量机(dual+SVM)
- 台湾大学林轩田机器学习技法课程学习笔记1 -- Linear Support Vector Machine
- 机器学习技法课程学习笔记1 -- Linear Support Vector Machine
- 学习笔记---机器学习技法
- 林轩田--机器学习技法--SVM笔记3--核支持向量机(Kenel+Support+Vector)
- 林轩田--机器学习技法--SVM笔记5--核逻辑回归(Kernel+Logistic+Regression)
- 林轩田--机器学习技法--SVM笔记6--支持向量回归(Support+Vector+Regression)
- 机器学习技法-1-Linear Support Vector Machine
- 机器学习技法:01 Linear Support Vector Machine
- 台大机器学习技法学习笔记
- 机器学习笔记-SVM
- 二维码扫描实现
- java查询数据库表卡死,解决方法
- nodejs入门
- WAPI协议完整性测试之指定字段报文测试
- Read_LinkedList
- 机器学习技法笔记--- Linear SVM
- Perl split函数用法
- softmax 与 logistic Regression
- 商城项目实战 | 6.1 OkHttp 的详细介绍 网络请求更加简单
- kettle linux 下的使用
- 从程序员到项目经理:完美主义也是一种错
- iOS手势冲突问题
- HDU
- c++实验5