支持向量机详解
来源:互联网 发布:安卓手机优化软件 知乎 编辑:程序博客网 时间:2024/06/08 13:03
使离H最近的正负样本刚好分别落在H1和H2上,这样的样本就是支持向量。那么其他所有的训练样本都将位于H1和H2之外,也就是满足如下约束:
写成统一的式子就是:
而超平面H1和H2的距离可知为:
SVM的任务就是寻找这样一个超平面H把样本无误地分割成两部分,并且使H1和H2的距离最大。要找到这样的超平面,只需最大化间隔Margin,也就是最小化。于是可以构造如下的条件极值问题:
其中:
那么我们要处理的规划问题就变为:
上式即为对偶变换,这样就把这个凸规划问题转换成了对偶问题:
其意义是:原凸规划问题可以转化为先对w和b求偏导,令其等于0消掉w和b,然后再对α求L的最大值。下面我们就来求解(6)式,为此我们先计算w和b的偏导数。由(3)式有:
为了让L在w和b上取到最小值,令(7)式的两个偏导数分别为0,于是得到:
将(8)代回(3)式,可得:
再把(9)代入(6)式有:
考虑到(8)式,我们的对偶问题就变为:
这个约束是这样得来的,如果(2)和(5)等效,必有:
把(3)式代入上式中,得到:
化简得到:
又因为约束(1)式和(4)式,有:
所以要使(13)式成立,只有令:,由此得到(12)式的约束。该约束的意义是:如果一个样本是支持向量,则其对应的拉格朗日系数非零;如果一个样本不是支持向量,则其对应的拉格朗日系数一定为0。由此可知大多数拉格朗日系数都是0。
计算得到最优分割面H的法向量w。而分割阈值b也可以通过(12)式的约束用支持向量计算出来。这样我们就找到了最优的H1和H2,这就是我们训练出来的SVM。
- 支持向量机详解
- 支持向量机详解
- 支持向量机详解(SVM)
- SVM-支持向量机详解(三)
- SVM——支持向量机详解
- SVM(支持向量机)详解
- SVM(支持向量机)详解
- 2.支持向量机概念详解
- SVM-支持向量机详解(三)
- 支持向量机(SVM) SMO算法详解
- 支持向量机(SVM)算法详解
- 支持向量机理论详解
- 支持向量机(SVM)(五)-- SMO算法详解
- 支持向量机(SVM)的SMO算法详解
- 支持向量机SVM(Support Vector Machine)详解笔记
- SVM-支持向量机原理详解与实践之一
- SVM-支持向量机原理详解与实践之二
- SVM -支持向量机原理详解与实践之四
- 无序数组中求中位数
- Python多线程
- JavaScript字符串indexOf方法浅析
- LeetCode
- 2016年校招编程笔试题汇总 考点:冒泡排序(稳定排序)、不考虑大小写特殊情况、判断字符串是否包含另一个字符串、判断某个字符串中含有某个字符串的个数
- 支持向量机详解
- 康托展开和逆康托展开
- html5移动开发屏幕宽度相关概念
- TensorFlow深度学习框架
- RateLimit
- 给初学者的RxJava2.0教程(三)
- jdbcTemplate 实现查询返回list
- enum 枚举的使用
- java-07