第六章 支持向量机
来源:互联网 发布:mac 复制 ntfs 编辑:程序博客网 时间:2024/06/05 14:26
- 第六章 支持向量机
- 间隔与支持向量
- 划分超平面
- 表示超平面的线性方程
- 支持向量与间隔
- 支持向量机Support Vector Machine简称SVM的基本型
- 对偶问题dual problem
- 什么是对偶问题
- 如何得到它
- 核函数kernel function
- 核函数定理
- 常用核函数
- 其它
- 软间隔与正则化
- 软间隔soft margin
- 损失函数
- 正则化regulariztion
- 支持向量回归Support Vector Regression
- 间隔与支持向量
第六章 支持向量机
间隔与支持向量
划分超平面
如图,中间粗线所代表的超平面所产生的分类结果是最鲁棒(稳定)的,对未见示例的泛化能力最强。
表示超平面的线性方程
在样本空间中,划分超平面可通过如下线性方程来描述:
支持向量与间隔
假设超平面(
如图,距离超平面最近的这几个训练样本点使上式的等号成立,它们被称为支持向量 (support vector),两个异类支持向量到超平面的距离之和为
它被称为间隔(margin)
支持向量机(Support Vector Machine,简称SVM)的基本型
为了找到具有最大间隔(maximum margin)的划分超平面,也就是让
而最大化间隔,仅需最大化
这就是支持向量机的基本型
对偶问题(dual problem)
什么是对偶问题
任何一个求极大化的线性规划问题都有一个求极小化的线性规划问题与之对应,反之亦然,如果我们把其中一个叫原问题,则另一个就叫做它的对偶问题,并称这一对互相联系的两个问题为一对对偶问题。
如何得到它
例如对上式(支持向量机的基本型)使用拉格朗日乘子法可得到它的对偶问题:
核函数(kernel function)
由于在现实任务中,原始样本空间内可能并不存在一个能正确划分两类样本的超平面。对于这些问题,可将样本从原始空间映射到一个更高维度的特征空间,使其线性可分。
令
则有,
其对偶问题是:
为了避免直接计算
于是,
这里的
核函数定理
常用核函数
其它
除了上述方法还可以通过函数组合来得到核函数:
软间隔与正则化
软间隔(soft margin)
- 问题
- 解决
为缓解该问题的一个办法是允许支持向量机在一些样本上出错,这就用到了软间隔。如图:
之前的支持向量机形式要求所有样本均满足约束,这称为硬间隔。而软间隔允许某些样本不满足约束:
损失函数
三种常用的替代损失函数:
正则化(regulariztion)
无论用什么替代损失函数,这些学习模型都具有一个共性:优化目标中的第一项用来描述划分超平面的“间隔”大小,另一项
支持向量回归(Support Vector Regression)
对于样本
SVR问题可化为:
其中C为正则化常数,
其对偶问题是:
SVR的解形如:
引入核函数:
其中,
- 第六章 支持向量机
- 机器学习实战——第六章:支持向量机
- 机器学习(周志华) 参考答案 第六章 支持向量机 6.9
- 机器学习(周志华) 参考答案 第六章 支持向量机
- [机器学习 - 周志华] - 第六章 支持向量机
- 机器学习(周志华)_第六章 支持向量机
- 机器学习实战-第六章(支持向量机)
- <机器学习>(周志华)读书笔记 -- 第六章 支持向量机
- 第六章 支持向量机--机器学习(周志华) 参考答案
- 第六、七课支持向量机
- 周志华 《机器学习》之 第六章(支持向量机)概念总结
- [完]机器学习实战 第六章 支持向量机(Support Vector Machine)
- 机器学习实战第六章支持向量机照葫芦画瓢算法实践
- 第五章 支持向量机
- 第九章 SVM(支持向量机)
- 第6章 支持向量机
- 人工智能-支持向量机
- 支持向量机
- 字符串替换 eg: str1="123%s456%s" str2={'a','b','c','d'}(将str1中的%s替换成str2中的字符)替换结果返回为:123a456bcd
- Js求时间差、并转换为字符串
- RSA乘法同态
- Coursera Machine learning
- 【科普】什么是TLS1.3
- 第六章 支持向量机
- 使用任务简化异步编程
- 如何利用Python语言进行——航偏校正
- 机器学习算法总结--EM
- Catch That Cow (BFS)
- Laravel 手动分页实现详解
- Hibernate查询多个表的数据的方法
- 深机笔记
- Ubuntu下Opencv的idft实现Matlab的ifft2