支持向量机: Maximum Margin Classifier
来源:互联网 发布:佳能打印机mac地址 编辑:程序博客网 时间:2024/05/16 10:16
转自pluskid
由于 SVM 的故事本身就很长,所以废话就先只说这么多了,直接入题吧。当然,说是入贴,但是也不能一上来就是 SVM ,而是必须要从线性分类器开始讲。这里我们考虑的是一个两类的分类问题,数据点用
一个超平面,在二维空间中的例子就是一条直线。我们希望的是,通过这个超平面可以把两类数据分隔开来,比如,在超平面一边的数据点所对应的
如图所示,两种颜色的点分别代表两个类别,红颜色的线表示一个可行的超平面。在进行分类的时候,我们将数据点
从几何直观上来说,由于超平面是用于分隔两类数据的,越接近超平面的点越“难”分隔,因为如果超平面稍微转动一下,它们就有可能跑到另一边去。反之,如果是距离超平面很远的点,例如图中的右上角或者左下角的点,则很容易分辩出其类别。
实际上这两个 Criteria 是互通的,我们定义 functional margin 为
又由于
不过,这里的
显然,functional margin 和 geometrical margin 相差一个
不过这里我们有两个 margin 可以选,不过 functional margin 明显是不太适合用来最大化的一个量,因为在 hyper plane 固定以后,我们可以等比例地缩放
当然,还需要满足一些条件,根据 margin 的定义,我们有
其中
通过求解这个问题,我们就可以找到一个 margin 最大的 classifier ,如下图所示,中间的红色线条是 Optimal Hyper Plane ,另外两条线到红线的距离都是等于
到此为止,算是完成了 Maximum Margin Classifier 的介绍,通过最大化 margin ,我们使得该分类器对数据进行分类时具有了最大的 confidence (实际上,根据我们说给的一个数据集的 margin 的定义,准确的说,应该是“对最不 confidence 的数据具有了最大的 confidence”——虽然有点拗口)。不过,到现在似乎还没有一点点 Support Vector Machine 的影子。很遗憾的是,这个要等到下一次再说了,不过可以先小小地剧透一下,如上图所示,我们可以看到 hyper plane 两边的那个 gap 分别对应的两条平行的线(在高维空间中也应该是两个 hyper plane)上有一些点,显然两个 hyper plane 上都会有点存在,否则我们就可以进一步扩大 gap ,也就是增大
- 支持向量机: Maximum Margin Classifier
- 支持向量机: Maximum Margin Classifier
- 支持向量机: Maximum Margin Classifier
- 支持向量机_1: Maximum Margin Classifier
- 支持向量机: Maximum Margin Classifier
- [Free Mind]支持向量机: Maximum Margin Classifier
- 支持向量机: Maximum Margin Classifier —— 支持向量机简介
- 【理论】支持向量机1: Maximum Margin Classifier —— 支持向量机简介
- 支持向量机1: Maximum Margin Classifier —— 支持向量机简介
- 机器学习之&&SVM支持向量机入门:Maximum Margin Classifier
- 机器学习之&&SVM支持向量机入门:Maximum Margin Classifier
- 支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)
- 支持向量机笔记(三) optimal margin classifiers
- 台湾大学机器学习笔记——Soft-Margin 支持向量机
- 林轩田--机器学习技法--SVM笔记4--软间隔支持向量机(Soft-Margin Support Vector Machine)
- 人工智能-支持向量机
- 支持向量机
- 支持向量机导论
- HttpClient4文件上传
- java文件读取示例
- Python MongoDB相关操作
- mime base64的纯c++加密代码
- 借助开源工具高效完成Java应用的运行分析
- 支持向量机: Maximum Margin Classifier
- 在main()之前,IAR都做了啥?
- 手机第一次发表
- C语言学习笔记(2)
- 使用logrotate做nginx日志轮询
- linux开启oracle服务的命令
- 业余无线电入门介绍
- Adapter 模式的小例子以及分析
- CDO大型应用开发框架CDOFramework 1.1.2发布了