模式识别(Pattern Recognition)学习笔记(三十三)-- Boosting方法之AdaBoost
来源:互联网 发布:移动互联网数据 编辑:程序博客网 时间:2024/04/27 23:26
Boosting最早被用在电力电子技术学科中的升压(Boost)变换器中,原本是想通过升压来提高功率,现在将这一提高功率的思想引入到模式识别方法中,它的含义就变成通过融合多个分类器,从而大大提高分类器的性能。
Boosting方法和随机森林的思想很类似,当采用基于简单模型的单个分类器对样本进行分类的效果不理想时,我们希望能够通过构建并整合多个分类器来提高最终的分类性能,我们通常将这种不太理想的单个分类器称为“弱分类器”;但是,Boosting又与RF有点不同,因为Boosting并非对多个分类器的输出进行投票来决策,而是通过一个迭代过程对分类器的输入和输出进行加权处理。不同应用问题中可以采用不同类型的弱分类器,每一次迭代过程中,根据分类的情况对各个样本进行加权,而不仅仅是简单的重采样。
之所以提到AdaBoost,是因为它是最常用的一种Boosting方法,而且非常有用,接下来就来围绕AdaBoost来展开学习。
假设有训练样本:;
使用M个弱分类器,因此其输出为:
决策过程如下:
1)对训练样本的对应权重进行初始化:
2)for循环(m=1;m<=M;m++)
{
s1:用权重对训练样本进行加权处理(即目标函数中各个样本对应的项进行加权),然后利用加权后的训练样本构造(构造分类器的方法有很多,可以采用不同的方法,如决策树和最小平方误差判别等)弱分类器;
s2:计算出加权后的分类错误率;
s3:令:;
s4:更新权重:,并归一化权重:,;其中Sm为:
}
3)对新来未知样本x,设分类器的最后决策输出为:;
Boosting方法被提出后,就广泛应用于人脸识别与生物识别中,当希望提高分类器的性能时,这种分类器融合的方式就得到了成功应用,此外在很多情况下,迭代次数(即采用的弱分类器数)较多时,不会导致过学习。
但是,尽管如此,还是要明白一个问题,就是模式识别方法中不要期望能够找到一个放之四海而皆准的方法,而应该学习和掌握不同方法的特点和依据,再具体问题中选择最合适的方法,所以没有最佳,只有最适合。
- 模式识别(Pattern Recognition)学习笔记(三十三)-- Boosting方法之AdaBoost
- 模式识别(Pattern Recognition)学习笔记(九)--感知器
- 模式识别(Pattern Recognition)学习笔记(十七)--二次判别函数
- 模式识别(Pattern Recognition)学习笔记(二十八)-- 决策树
- 模式识别(Pattern Recognition)学习笔记(三十一)-- 线性回归
- 模式识别(Pattern Recognition)学习笔记(三十二)-- 逻辑回归
- 模式识别(Pattern Recognition)学习笔记(九)--感知器
- 模式识别(Pattern Recognition)学习笔记(十七)--二次判别函数
- 模式识别(Pattern Recognition)学习笔记(一)--何为模式识别
- 模式识别(Pattern Recognition)学习笔记(一)--何为模式识别
- 模式识别(Pattern Recognition)学习笔记(二十四)--总结:SVM学习资源
- 模式识别(Pattern Recognition)学习笔记(二十一)--再谈(人工)神经网络(ANN)
- 模式识别(Pattern Recognition)学习笔记(二十一)--再谈(人工)神经网络(ANN)
- 模式识别(Pattern Recognition)学习笔记(十)--最小平方误差判别(MSE)
- 模式识别(Pattern Recognition)学习笔记(十一)--SVM支持向量机(狭义):大间隔
- 模式识别(Pattern Recognition)学习笔记(十二)--SVM(广义):大间隔
- 模式识别(Pattern Recognition)学习笔记(十九)--多层感知器模型(MLP)
- 模式识别(Pattern Recognition)学习笔记(三十)--随机森林(Random Forest)
- 第15章 css样式设置小技巧
- webvr动画函数requestAnimationFrame
- love~LBJ,奥布莱恩神杯3
- 详解 Android 性能优化
- 【杭电oj】2064 - 汉诺塔III(递归,汉诺塔)
- 模式识别(Pattern Recognition)学习笔记(三十三)-- Boosting方法之AdaBoost
- android线程管理
- 【ppt基础教程】教你用PowerPoint轻松实现板书效果
- iOS 单例对象创建
- 2016长城信息杯中国大学生程序设计竞赛中南邀请赛 xtu 1252 Defense Tower
- android HttpURLConnection网络请求数据
- Java算法 归并排序
- HDU 3518 后缀数组
- Android-扫二维码和生成二维码