机器学习之感知机与SVM详细推导
来源:互联网 发布:网络打印机 编辑:程序博客网 时间:2024/06/03 14:54
感知机与SVM
@(机器学习)[SVM]
- 感知机与SVM
- 超平面
- 感知机perception
- 支持向量机SVM
- SVM的Lagrange对偶问题
超平面
在介绍感知机与SVM之前,我们有必要补充一下超平面的概念。
超平面是具有下面形式的点的集合:
其中
解析意义:超平面是关于
几何意义:超平面是与给定向量
超平面外任意一点
在超平面上任取一点
在感知机与SVM的相关理论推导中,我们一般将超平面写成如下形式:
感知机(perception)
感知机 是二类分类问题的线性分类模型。其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机学习旨在求出将训练数据进行线性划分的分离超平面。
假设对所有
线性可分的定义是:
也即对误分类的点有:
我们假设感知机的训练数据都是线性可分的。
误分类点到超平面的总距离为:
我们可以 把
可以利用随机梯度下降法轻松地进行优化:
(1) 选取初值
(2) 在训练集中选取数据
(3)
(4) 转至(2),直至训练集中没有误分类点。
支持向量机(SVM)
感知机模型得到的分离超平面不是唯一的,会随着初值不同而不同。而SVM试图寻找一个最佳的超平面来划分数据。所谓“最优的超平面”,就是指“最中间的”的超平面,也即“与数据点间隔最大”的超平面。
定义样本点
几何间隔其实就是
定义超平面与整个数据集的几何间隔为:
其物理含义为离超平面最近的点到超平面的几何距离。
定义样本点
定义超平面与整个数据集的函数间隔为:
注意,当
根据上面的铺垫,SVM模型可表示为:
考虑到几何间隔与函数间隔的比例关系,
而根据前面的分析我们可以知道,我们总可以同比例缩放
这样SVM就转化为了一个凸二次规划问题,可以用一些软件包方便得求解。但是这种问题的直接求解比较低效,为此可以使用Lagrange乘子法得到其对偶问题,这样不仅能简化计算,还可以为后面引入kernel的概念做铺垫。
SVM的Lagrange对偶问题
对
先求
可得:
因此
求解出最优的
根据KKT条件:
我们可以断定,
其中
于是,理论上可以选取任意支持向量求解
通过
阅读全文
0 0
- 机器学习之感知机与SVM详细推导
- 机器学习之感知机
- 机器学习之感知机
- 【机器学习】推导支持向量机SVM二分类
- 【机器学习】支持向量机SVM原理及推导
- 机器学习05(SVM理论推导)
- 机器学习之SVM原理与案例
- 机器学习之感知机&&python实践
- 机器学习系列之感知机
- 机器学习入门之感知机
- 机器学习基础之----感知机----
- 机器学习之感知机python实现
- 机器学习之SVM
- 机器学习之SVM
- 机器学习 - 感知机
- 机器学习 ---感知机
- SVM的详细推导
- 机器学习SVM之SMO方法α,ω和b迭代公式的推导过程
- JavaEE开发第二篇Spring-Aop
- 利用第三方API服务实现归属地查询
- 设计模式-12-策略模式
- Struts2 Action
- vue-cli脚手架 webpack中引入jquery
- 机器学习之感知机与SVM详细推导
- UVA11799 Horror Dash【求极值+水题】
- solr学习(6.1)solrcloud集群的搭建
- 开发技能-shell面试整理
- 【剑指offer】面试题34:二叉树中和为某一值的路径
- Regular polygon
- DC -16 :链式栈
- 链栈的主要操作
- 二叉树的一些操作的代码实现