笔记-感知机、超平面
来源:互联网 发布:java怎么读inputstream 编辑:程序博客网 时间:2024/05/01 01:46
1.感知机
感知机是一种二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别{+1,-1}。感知机要求数据集是线性可分的。
按照统计学习三要素模型、策略、算法的顺序来介绍。
2.感知机模型
由输入空间到输出空间的如下函数:
其中
感知机模型的假设空间是定义在特征空间中的所有线性分类模型(linear classification model)或线性分类器(linear classifier),即函数集合
2.1感知机模型的几何解释
线性方程
在看几何模型这里有几点疑惑:
1.超平面是什么
2.原点到超平面的距离
2.1.1超平面
百度百科给出的定义:超平面是n维欧式空间中余维度等于一的线性子空间(也就是说超平面的维度为n-1)。这是平面中的直线、空间中的平面之推广。
似乎并没有起到什么帮助理解的作用!这个东西为什么要叫超平面也是很迷!刨除这个蜜汁叫法,还是试图从公式上进行理解吧。
百度到资料一:给定
的点集
老学长解惑:在
在几维空间中,向量
老学长这个解释,我还是比较能接受的。
2.1.2点到超平面的距离
写到这里,我已决心要重看一遍高数。
向量的投影:给定两个向量
算不上推导的推导:
综上,
点到超平面的距离:假设
2.1.3超平面的正反面
一个超平面可以将该空间分成两部分,和法向量同向规定为正面,和法向量反向称为反面。
3.感知机学习策略
3.1损失函数
误分类集M,对于
忽略
4.感知机学习算法
感知机学习问题转换为求解使损失函数
其中M是误分类集
(1)
(2)选择
(3)转至(2),直到不存在误分类点。
4.1感知机学习算法的收敛性
4.1.1定理
为了便于叙述,令
假设训练集是线性可分的,则
(1)存在
(2)
4.1.2证明
(1)由于训练数据集是线性可分的,所以存在超平面可以将训练数据集完全正确的分开。取此超平面为
存在
使
(2)
由于
当
注意到初始条件为0时,迭代次数k与学习速率
5.感知机的对偶形式
感知机的对偶形式是初始值为0条件下的一种变形,似乎能起到减少每一次迭代的计算量的作用,有待验证。
- 笔记-感知机、超平面
- 机器学习之感知机学习笔记第一篇:求输入空间R中任意一点X0到超平面S的距离
- 整理:统计学习-2 感知机知识准备(模型类型、超平面与梯度下降法)
- 超平面
- 超平面
- 超平面
- 超平面
- 超平面
- 超平面
- 超平面
- 感知机学习笔记
- [转]超平面
- 谈谈超平面
- 什么是超平面
- 超平面简介
- 超平面是什么?
- 超平面的定义
- 感知机/Pytorch—笔记
- Android Studio+Appium+Java+Windows环境安装搭建
- JavaScript代码实现选水果
- Unity_版本切换_预编译手段
- 2017/10/7
- 零基础入门深度学习(3)
- 笔记-感知机、超平面
- Mysql——关系数据库之笛卡尔积
- 算法第五周Swap Nodes in Pairs[medium]
- Qt数据库操作报错not positioned on a valid record
- Rust: trim(),trim_matches()等江南六怪......
- 零基础入门深度学习(4)
- Construct 2作業
- 《一个操作系统的实现》笔记(1)--NASM汇编语法和环境搭建
- 在 PyCharm 2017.2.3 中设置 Anaconda 5.0.0 中配置的多Python环境