线性可分支持向量机思想与公式推导
来源:互联网 发布:sql offset fetch 编辑:程序博客网 时间:2024/05/22 12:53
以及相应的决策函数:
将不同类别的样本分开,使超平面正样本一侧所有的点满足
Q1:为什么根据间隔最大原则找划分超平面?
A1:分割线由极少数的几个点(支持向量)决定;
距离分割线越远,则分类的准确性越高;
给模糊的点留下了最大的空间,容错率更高。
2、函数间隔和几何间隔
1)函数间隔
a.定义超平面
b.定义超平面
2)几何间隔
a.定义超平面
b. 定义超平面
3)函数间隔和几何间隔的关系
Q2:为什么选择几何间隔而不选择函数间隔作为优化对象?
A2: 若选取函数间隔作为最优化目标,则当超平面固定后,我们可以等比例地缩放
3、问题形式化
求一个几何间隔最大的分离超平面可以表示为如下的约束最优化问题:
由于函数间隔
这是一个凸二次优化问题——目标函数是二次的,约束条件是线性的。
4、原始问题和对偶问题
1)原始问题
输入:线性可分训练数据集
输出:最大间隔分离超平面和分类决策函数
a.构造并求解原始问题:
求得最优解
b.求得分离超平面:
以及分类决策函数:
2)对偶问题
应用拉格朗日的对偶性,通过求解对偶问题得到原始问题的最优解。
输入:线性可分训练数据集
输出:最大间隔分离超平面和分类决策函数
a.构造并求解对偶问题:
求得对偶问题的最优解
b.由对偶问题的最优解计算原始问题的最优解:
c.求得分离超平面:
以及分类决策函数:
Q3:如何由原始问题推导成对偶问题?
A3:推导过程如下:
Step1:引入拉格朗日乘子[\alpha ]到目标函数中:
并令:
要想最大化
Step2:当所有点都满足条件时,有:
所以,优化问题变为:
Step3:求最小的最大值问题转换成求最大的最小值问题:
而通常,在满足KKT条件时,有
Step4:先固定
将上式代入
于是,优化问题变为:
求出最优解
分离超平面为:
分类决策函数为:
对于新点
参考博客:
[支持向量机简介](http://blog.pluskid.org/?p=632)[介绍支持向量机目标函数的 dual 优化推导,并得出“支持向量”的概念](http://blog.pluskid.org/?p=682)[Kernel —— 介绍核方法,并由此将支持向量机推广到非线性的情况](http://blog.pluskid.org/?p=685)[Outliers —— 介绍支持向量机使用松弛变量处理 outliers 方法](http://blog.pluskid.org/?p=692)[Numerical Optimization —— 简要介绍求解求解 SVM 的数值优化算法](http://blog.pluskid.org/?p=696)
- 线性可分支持向量机思想与公式推导
- 线性可分支持向量机
- 线性可分支持向量机笔记
- 分类算法----线性可分支持向量机(SVM)算法的原理推导
- 线性支持向量机思想与公式推导(Outliers)
- 支持向量机(二)线性可分支持向量机与硬间隔最大化
- 支持向量机—线性可分支持向量机与硬间隔最大化
- 支持向量机 - 2 - 线性可分支持向量机与硬间隔最大化
- 【机器学习基础】线性可分支持向量机
- 线性可分支持向量机对偶算法
- SVM笔记(三) 线性可分支持向量机
- SVM再次总结 - 2 - 线性可分支持向量机
- 线性可分支持向量机(一)
- 线性可分支持向量机(二)
- 【机器学习基础】线性可分支持向量机
- SVM(1)--线性可分支持向量机
- 8.线性可分支持向量机(SVM)
- 统计学习方法笔记:支持向量机之线性可分支持向量机与硬间间隔最大化
- maven的安装
- 16 多校 6
- 数据存储(2):SharedPreferences存储
- static
- C++中 sprintf函数的用法
- 线性可分支持向量机思想与公式推导
- Codeforces Round #158 (Div. 2)C. Balls and Boxes(模拟)
- 关于java中静态属性、静态方法的继承问题
- ""and ‘’
- hibernate 关联关系 详解 二 没有解释,要自己悟
- 设计模式学习—代理模式(Proxy Design Pattern)
- 并发队列ConcurrentLinkedQueue和阻塞队列LinkedBlockingQueue用法
- linux中脚本执行方式详解
- android实现复制粘贴一项文本功能