《统计学习方法》第八章提升方法学习笔记
来源:互联网 发布:centos 安装 nginx 编辑:程序博客网 时间:2024/05/16 19:36
提升方法需要解决两个问题:一是在每一轮如何改变训练数据的权值或概率分布;二是如何将弱分类器组合成一个强分类器。对于第一个问题,AdaBoost算法是提高那些前一轮弱分类器错误分类样本的权重,而降低那些被正确分类样本的权重,这使得那些没有被正确分类的样本由于其权重的加大而受到后一轮的弱分类器的更大关注。对于第二个问题,AdaBoost采取加权多数表决的方法,即加大分类误差率小的弱分类器的权值,使其在表决中起较大的作用,减小分类误差率大的若分类器的权值,使其在表决中起较小的作用。
一、AdaBoost算法
输入:训练数据集
输出:最终分类器
(1)初始化训练数据的权值分布
这里初始情况假设训练数据集具有均匀的权值分布。
(2)对
(a)使用具有权值分布
Dm 的训练数据集学习,得到基本分类器
Gm(x):xi→{+1,−1}
(b)计算Gm(x) 在训练数据集上的分类误差率
em=P(Gm(xi)≠yi)=∑i=1NwmiI(Gm(xi)≠yi)
wmi 表示第m个分类器训练时用到的的第i个样本的权重,分类误差率是被Gm(x) 误分类样本的权值之和。
(c)计算Gm(x) 的系数
αm=12log1−emem
这里的对数是自然对数,当em≤12 时,αm≥0 ,并且αm 随着em 的减小而增大,分类误差率小的基本分类器在最终分类器中的作用越大。
(d)更新训练数据集的权值分布
Dm+1=(wm+1,1,⋯,wm+1,i,⋯,wm+1,N)wm+1,i=wmiZmexp(−αmyiGm(xi)),i=1,2,⋯,N
这里,Zm 是规范化因子
Zm=∑i=1Nwmiexp(−αmyiGm(xi))
它使Dm+1 成为一个概率分布。不改变训练集,不断改变训练数据权重的分布,使得训练数据作用不同。
(3)构建基本分类器的线性组合
得到最终分类器
例子:
二、前向分步算法与加法模型
0 0
- 《统计学习方法》第八章提升方法学习笔记
- 统计学习方法:提升方法
- 统计学习方法 第八章总结
- 《统计学习方法》学习笔记
- 《统计学习方法》--学习笔记
- 统计学习方法 李航---第8章 提升方法
- 统计学习方法笔记(8)——提升方法之前向分布算法和提升树
- 《统计学习方法》第五章决策树学习笔记
- 统计学习-提升方法
- 统计学习方法学习笔记《八》——Boosting方法
- 《统计学习方法》学习笔记一
- 《统计学习方法》学习笔记二
- 《统计学习方法》学习笔记三
- 《统计学习方法》学习笔记四
- 《统计学习方法》学习笔记五
- 《统计学习方法》学习笔记六
- 《统计学习方法》学习笔记七
- 《统计学习方法》学习笔记八
- 选择一张图片然后在图片上根据手指移动绘图,然后保存到SD卡
- 在ubuntu加载vim时出错
- IntelliJ IDEA 的Project structure说明(转载)
- Android端公司通讯录开发与实现(二)
- 基于Token的WEB后台认证机制
- 《统计学习方法》第八章提升方法学习笔记
- ajax传递给后台数组参数方式
- eclipse的一些快捷键
- 我喜欢你啊 就是这么喜欢你
- 用Android studio多渠道打包以及使用不同资源(包括icon或者其他图片等)
- Ubuntu+linux:Ubuntu14.04下安装和使用git
- leetcode二叉树问题合集
- 3. Hibernate_HelloWorld 详解
- Android Webview后退