[机器学习入门] 李宏毅机器学习笔记-23(Support Vector Machine;支持向量机)
来源:互联网 发布:社交网络 评论音轨 编辑:程序博客网 时间:2024/06/03 12:57
[机器学习入门] 李宏毅机器学习笔记-23(Support Vector Machine;支持向量机)
Support Vector Machine
Outline
Hinge Loss
Binary Classification
分为三步。
δ不可微分,所以变化一下。
step 2 :Loss function
红色这条线就是Square Loss的表现,与黑色的理想loss曲线比较,当x很大是,将会取得很大的值,这是不合理的,既然如此,我们再试一下Square Loss+cross entropy。
蓝色这条线就是Sigmoid+Square loss,但是实际上,Square的performance并不好,用cross entropy更合理,就是绿色那条线,当横坐标趋近无穷大时,趋近于0,如果负无穷,则会无穷大。比较一下蓝绿两条线,如果我们横坐标,从-2移到-1,绿色这条线变化很大,蓝色反之,造成的效果就是,横坐标非常negative时,绿色调整参数可以取得较好的回报,所以它很乐意把negative的值变大,而蓝色反之,很懒惰。
而Hinge Loss为紫色线表示。
如果比较紫绿两条线,它们最大的不同就是对待做得好的example的态度,如果把横坐标从1挪到2,对绿色来说它会有动机把横坐标变得更大,而紫色对此的态度是及格就好,不会再努力变大。
Linear SVM
Compared with logistic regression, linear SVMhas different loss function
Linear SVM – gradient descent
SVM通常不用gradient descent做,但也是可以做的。
Linear SVM – another formulation
Kernel Method
Dual Representation
我们只需要能算出K(x,z)就可以了,这就是Kernel Trick。
Kernel Trick
Radial Basis Function Kernel
衡量x与z的相似度,在无穷多维上去做事情
Sigmoid Kernel
SVM related methods
* Support Vector Regression (SVR) [Bishop chapter 7.1.4]* Ranking SVM [Alpaydin, Chapter 13.11]* One-class SVM [Alpaydin, Chapter 13.11]
SVM vs Deep Learning
阅读全文
1 0
- [机器学习入门] 李宏毅机器学习笔记-23(Support Vector Machine;支持向量机)
- 机器学习(一)支持向量机(Support Vector Machine)
- 机器学习:支持向量机(Support Vector Machine, SVM)
- [机器学习入门] 李宏毅机器学习笔记-26(Structured Support Vector Machine part 1;结构化支持向量机part 1)
- 机器学习——支持向量机support vector machine
- 机器学习技法总结(一):支持向量机(linear support vector machine,dual support vector machine)
- 机器学习第五篇(stanford大学公开课学习笔记) —支持向量机(Support Vector Machine)
- 机器学习与深度学习(三) 支持向量机 (Support Vector Machine) SVM
- 机器学习之支持向量机(Support Vector Machine)(更新中...)
- 机器学习——支持向量机SVM(Support Vector Machine)(上)
- 机器学习——支持向量机SVM(Support Vector Machine)(下)
- 机器学习(3)——支持向量机(Support Vector Machine)
- [完]机器学习实战 第六章 支持向量机(Support Vector Machine)
- 【机器学习实战】第6章 支持向量机(Support Vector Machine / SVM)
- 林轩田--机器学习技法--SVM笔记4--软间隔支持向量机(Soft-Margin Support Vector Machine)
- 第八讲. 支持向量机进行机器学习——Support Vector Machine
- 机器学习十大经典算法支持向量机SVM(Support Vector Machine)(上篇)
- [DL]机器学习算法之支持向量机(Support Vector Machine)
- matplotlib时间坐标设置
- android 用户引导页实现
- C++中一个空类的大小为什么是1?
- 希尔排序
- 单片机实验一
- [机器学习入门] 李宏毅机器学习笔记-23(Support Vector Machine;支持向量机)
- API设计的基本工作流程及需求分析
- TUST的抓包之旅(1)----- 一键登录校园网
- 堆排序
- 漫步最优化十——极值类型
- Hbase架构以及应用介绍
- Linux Virtual Server概述
- POJ 1003--Hangover
- [线段树 || 主席树][Hash] HackerRank 101 Hack 49. Sorting Lists