统计学习方法笔记,第二章笔记, 感知机
来源:互联网 发布:dnf最近老是网络中断 编辑:程序博客网 时间:2024/05/16 02:16
2.1 感知机模型
模型函数:
其中
感知机属于线性模型,因为其含有
超平面将空间分为两个部分,位于超平面两侧的点分别是正、负两类。
2.2 感知机的学习策略
感知机模型的学习策略是让误分类的点到超平面的距离最小。那么误分类的点怎么求呢?
我们已知对于一个点,如果被正确分类,那么 预测结果 与真实的分类 应该是同号的,即
或 ,所以当分类错误时,两者符号应该是相反的。因此有:
我们通过几何知识可知,对于空间中的一个点,它到超平面的距离为:
因此,所有的误分类点到超平面的距离之和为:
不考虑 ,我们得到损失函数
也就是经验风险函数。
2.3 感知机学习算法
根据2.2的学习策略,我们把问题转化为了求经验风险函数的最小值问题,即求
采用梯度下降法就可以求解了,分别对w和b求导得到:
迭代方式为:
其中步长 为学习率, 的选择非常重要,太小则影响迭代速度,太大则可能跳过最小值点。
需要注意的是,由于w和b的初始值选取具有随机性,因此对于线性可分的数据集,不同初始值可能得到不同的分类超平面,对于线性不可分的数据集,迭代结果可能发生震荡。
阅读全文
0 0
- 统计学习方法笔记,第二章笔记, 感知机
- 统计学习方法第二章笔记——感知机
- 统计学习方法笔记--第二章感知机perceptron
- 统计学习方法笔记-感知机
- 统计学习方法笔记,第二章感知机的python代码实现
- 李航《统计学习方法》第二章 感知机
- 《统计学习方法》第二章 感知机
- 统计学习方法之第二章感知机
- 统计学习方法 第二章 感知机
- 《统计学习方法》-第二章-感知机
- 统计学习方法-第二章-感知机
- 统计学习方法(第二章)感知机
- 《李航:统计学习方法》笔记之感知机
- 《李航:统计学习方法》笔记之感知机
- 统计学习方法笔记(二)感知机
- 《统计学习方法》笔记(2):感知机
- 统计学习方法笔记2--感知机
- 统计学习方法笔记(二)感知机
- 爬虫(2):Pipeline
- php 随机生成100个100万以内的数,顺序查找,二分查找
- C和C++中的字符串与数字转换函数
- C图形库easyX的运用
- oracle中行转列的实现
- 统计学习方法笔记,第二章笔记, 感知机
- 怎样将.java文件编译成.exe可运行文件
- 高仿腾讯QQ侧滑删除
- 菜单递归调用
- iOS9.2 univesal link 踩过的坑
- Java中类加载过程
- JavaScript添加数组元素和删除数组元素
- Android的分享操作 一
- PHP数组深入学习