svm推导
来源:互联网 发布:装饰公司流水账软件 编辑:程序博客网 时间:2024/05/29 09:27
支持向量机(SVM)的详细推导过程及注解(一)
(2012-03-19 15:57:24)svm
支持向量机
拉格朗日
对偶问题
不等式条件极值
凸规划
模式识别
分类: 无尽之海
使离H最近的正负样本刚好分别落在H1和H2上,这样的样本就是支持向量。那么其他所有的训练样本都将位于H1和H2之外,也就是满足如下约束:
写成统一的式子就是:
而超平面H1和H2的距离可知为:
SVM的任务就是寻找这样一个超平面H把样本无误地分割成两部分,并且使H1和H2的距离最大。要找到这样的超平面,只需最大化间隔Margin,也就是最小化。于是可以构造如下的条件极值问题:
其中:
那么我们要处理的规划问题就变为:
上式即为对偶变换,这样就把这个凸规划问题转换成了对偶问题:
其意义是:原凸规划问题可以转化为先对w和b求偏导,令其等于0消掉w和b,然后再对α求L的最大值。下面我们就来求解(6)式,为此我们先计算w和b的偏导数。由(3)式有:
为了让L在w和b上取到最小值,令(7)式的两个偏导数分别为0,于是得到:
将(8)代回(3)式,可得:
再把(9)代入(6)式有:
考虑到(8)式,我们的对偶问题就变为:
这个约束是这样得来的,如果(2)和(5)等效,必有:
把(3)式代入上式中,得到:
化简得到:
又因为约束(1)式和(4)式,有:
所以要使(13)式成立,只有令:,由此得到(12)式的约束。该约束的意义是:如果一个样本是支持向量,则其对应的拉格朗日系数非零;如果一个样本不是支持向量,则其对应的拉格朗日系数一定为0。由此可知大多数拉格朗日系数都是0。
计算得到最优分割面H的法向量w。而分割阈值b也可以通过(12)式的约束用支持向量计算出来。这样我们就找到了最优的H1和H2,这就是我们训练出来的SVM。
- svm推导
- SVM推导
- svm推导
- SVM推导帖子收藏
- SVM公式推导
- SVM推导简述
- SVM的详细推导
- SVM 的推导
- SVM算法推导
- SVM简单推导
- SVM公式推导
- SVM公式推导
- SVM相关的推导
- SVM 相关公式推导解释
- svm的数学推导原理
- SVM推导过程注解(一)
- 支持向量机(SVM)推导
- 支持向量机SVM推导过程
- 数据库连接的代码
- mysql函数之INSTR
- hadoop错误解决
- 第七周项目4
- Linux操作系统(第一章课后简答题)
- svm推导
- 高二&高一&初三模拟赛24 总结
- [杂题]Codeforces 663C. Graph Coloring
- 实验三 顺序栈(c++)
- NEUQACM OJ:1149--【C语言训练】排序问题<2>
- iOS开发笔记-UI-UIWindow
- 文件权限
- SpringMVC之分析HandlerMethodArgumentResolver请求对应处理器方法参数的解析过程(二)
- MAVEN Scope使用