感知机模型
来源:互联网 发布:淘宝购物怎么索要发票 编辑:程序博客网 时间:2024/05/16 09:49
感知机模型
1. 模型概览
方法:感知机模型
适用问题:二分类
模型特点:分离超平面
模型类型:判别模型
学习策略:极小化误分点到超平面距离
损失函数:误分点到超平面距离
学习算法:随机梯度下降法
2. 模型介绍
感知机(perceptron)是处理二分类的线性分类模型。感知机旨在求出将训练数据进行线性划分的分离超平面,属于判别模型,所以,导入误分类的损失函数,利用梯度下降法极小化损失函数,求得感知机模型,感知机预测是用学习得到的感知机模型对新输入的数据进行分类。感知机在1957年由Rosenblatt提出,是神经网络和支持向量机的基础。
3. 模型定义
由输入空间到输出空间的如下函数:
称为感知机。其中w为权重,b为偏置,sign为符号函数:
所以,感知机输出是{+1,-1}.
几何解释:
线性方程
对应特征空间的一个超平面S,其中w为该平面的法向量,b为超平面的截距。这个超平面将特征空间分为两个部分,位于两部分的点分别被分为正负两类,因此,超平面S被称为分离超平面。如下图所示:
4. 感知机学习策略
首先解释一下什么是线性可分:对包含正负样例点的集合T,如果存在一个超平面S能够将所有正负样例点完全分在平面两侧,则称T为线性可分的,否则为线性不可分。感知机模型就是假设训练集合为线性可分的。
接下来我们定义损失函数,并将其最小化。感知机模型的损失函数为所有误分类点到超平面的距离和,这很好理解。不选择误分类点的个数是因为,它不是w,b的连续可导函数,不好优化。损失函数形式如下:
我们来推导一下:
空间任意点
这里
其次,对于误分类的数据
因为
所以误分类点到超平面距离可以表示为:
假设误分类点集合为M,那么所有误分类点到超平面S的距离和为
不考虑
为什么不考虑
网上有人说
1、
2、
综上所述,即使忽略
5. 感知机模型的学习算法
感知机学习算法是对上述损失函数进行极小化,求得w和b,采用的方法为随机梯度下降法。目标函数如下:
首先任取一个超平面
假设误分类点集合M是固定的,那么损失函数
给出(求偏导)。
更新公式如下:
其中
6. 证明算法收敛性
现在证明,对于现行可分数据集感知机学习算法收敛,即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。
为了便于叙述和推导,将偏置b并入权重向量w,记作
通过证明Novikoff定理证明感知机算法的收敛性
假设训练数据集T是线性可分的。
则
(1) 存在
(2) 令
证明过程如下:
本文源于个人在进行技术积累时的笔记及思考,有任何问题或更好的见解欢迎讨论!
- 感知机模型
- 感知机模型
- 感知机模型
- 感知机模型
- 感知机模型
- 感知机模型
- 感知机模型
- 感知机模型
- 感知机模型
- 感知机模型
- 2.3 感知机模型
- 感知机学习模型
- 感知机模型
- 感知机1 -- 感知机模型
- 感知机模型收敛性推导
- 感知机--模型与策略
- 机器学习:感知机模型
- (转载)感知机模型
- Centos7 关闭防火墙
- sql中游标对象常用的语句
- Spring Bean装配--Resource
- css hack
- H264 SPS PPS Slice Header解码笔记
- 感知机模型
- ORA-12514 解决方法
- matlab实现S域到Z域变换
- 系统网络框架NSURLSession(一)
- 状态模式与策略模式的区别
- spring和单元测试做整合
- 链式前向星(数组模拟邻接表)
- CSS3实现圆角,三角,五角星,五边形,爱心,12角星,8角星,圆,椭圆,圆圈,八卦
- 车锁锁架3D打印模型