感知机perceptron
来源:互联网 发布:湖南第五届网络文化节 编辑:程序博客网 时间:2024/05/19 14:01
本文是《统计学习方法》李航著学习笔记。
感知机是二类分类的线性分类模型,输入:实例的特征向量,输出:实例的类别。
感知机学习:求将训练数据进行线性划分的分离超平面,即将实例化分为正负两类的分离超平面。
数据集的线性可分性:
感知机模型:
损失函数:
目标函数(算法优化目标,学习目标):
这是一个无约束优化问题,优化方法采用随机梯度下降法。即给定任一参数初值,然后用梯度下降法极小化目标函数,一次随机选取一个误分类点使损失函数减小。
下面简要陈述为什么负梯度方向可以使目标函数减小,即梯度下降法(最速下降法)的数学依据:
随机梯度下降法(SGD)及感知机学习算法(原始形式):
—— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— ——
感知机学习算法(对偶形式):
基本想法:将参数表示成实例和标记的线性组合形式,迭代求组合系数。
这一想法的基本出发点:考虑每个实例点在SGD算法迭代过程中,被选中的次数,先计算每个实例点被选中的次数,再计算N个实例点被选中的总次数。
这是因为,对于一个给定的实例点,在每次迭代的感知机模型中,未必永远是正确分类的或者永远是误分类的。
这里的对偶算法只不是从整个迭代看算法,将每个实例点在误分类时被SGD选中的次数进行合并同类项。
—— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— ——
最后需要注意:感知机算法不能处理线性不可分数据集;并且对于同一线性可分数据集,原始感知机学习算法和对偶感知机学习算法对于不同的初值及随机误分类点的选择不同,会得到不同的分离超平面。
有关感知机学习模型收敛性及最大迭代次数的内容请参见Novikoff定理,这里不再赘述,对于《统计学习算法》李航著书中给出的Novikoff证明过程,仅给出如下需要注意的地方:
- 2 - 感知机(perceptron)
- 感知机(Perceptron)
- Perceptron感知机
- perceptron 感知机
- OR perceptron(感知机 )
- 感知机Perceptron
- 感知机perceptron
- Perceptron(感知机)
- 感知机—Perceptron
- 感知机 — Perceptron
- 机器学习-感知机perceptron
- 20151227感知机(perceptron).md
- 感知机PLA(perceptron)
- 深度学习:感知机perceptron
- 机器学习-感知机perceptron
- 感知机:Perceptron Learning Algorithm
- 机器学习-感知机perceptron
- 线性分类模型--感知机(perceptron)
- spring-boot中jpa使用心得
- 解决pandas.read_csv()出现OSError:Initializing from file failed问题
- 深入理解Java:注解(Annotation)--注解处理器
- jQuery简单实现导航栏根据滑动自动悬浮效果
- HDU6195-cable cable cable
- 感知机perceptron
- String转Date, Timestamp
- AI Challenger-人体骨骼关键点检测&& Human Pose Estimation
- POJ 1163 The Triangle 典型的递归问题
- 集成极光推送的几个步骤
- PullToRefreshListView
- Ubuntu 命令积累
- Failed to execute goal org.springframework.boot:spring-boot-maven-plugin:1.0
- 2017 ACM-ICPC Asia Regional Shenyang Online spfa+最长路