Boosting算法
来源:互联网 发布:淘宝买眼镜20元靠谱吗 编辑:程序博客网 时间:2024/09/21 06:32
这里阐述下算法的具体过程:
1.初始化所有训练样例的权重为1 / N,其中N是样例数
2.for m=1,……M:
a).训练弱分类器ym(),使其最小化权重误差函数(weighted error function):
b)接下来计算该弱分类器的话语权α:
3.得到最后 的分类器:
第一步:
根据分类的正确率,得到一个新的样本分布D2?,一个子分类器h1
其中划圈的样本表示被分错的。在右边的途中,比较大的“+”表示对该样本做了加权。
第二步:
根据分类的正确率,得到一个新的样本分布D3,一个子分类器h2
第三步:
得到一个子分类器h3
整合所有子分类器:
因此可以得到整合的结果,从结果中看,即使简单的分类器,组合起来也能获得很好的分类效果,在例子中所有的。
Adaboost算法的某些特性是非常好的,在我们的报告中,主要介绍adaboost的两个特性。一是训练的错误率上界,随着迭代次数的增加,会逐渐下降;二是adaboost算法即使训练次数很多,也不会出现过拟合的问题。
总结
最后,我们可以总结下adaboost算法的一些实际可以使用的场景:
1)用于二分类或多分类的应用场景
2)用于做分类任务的baseline
无脑化,简单,不会overfitting,不用调分类器
3)用于特征选择(feature selection)
4)Boosting框架用于对badcase的修正
只需要增加新的分类器,不需要变动原有分类器
由于adaboost算法是一种实现简单,应用也很简单的算法。Adaboost算法通过组合弱分类器而得到强分类器,同时具有分类错误率上界随着训练增加而稳定下降,不会过拟合等的性质,应该说是一种很适合于在各种分类场景下应用的算法。
- Boosting算法
- Boosting算法
- Boosting算法
- Boosting算法
- boosting算法
- boosting算法
- Boosting算法
- boosting算法
- Boosting算法
- Boosting算法简介
- Boosting算法简介
- Boosting算法简介
- boosting算法简介
- Boosting算法简介
- Boosting算法简介
- Boosting算法简介
- boosting(AdaBoost)算法
- Boosting算法简介
- Android Studio引入jar包和so文件(armeabi和armeabi-v7a)
- Java中的jar和so文件的区别
- Eclipse开发Android程序引入jar包和so文件
- 集成学习
- java注解:@Deprecated(不建议使用的,废弃的);@SuppressWarnings(忽略警告,达到抑制编译器产生警告的目的)
- Boosting算法
- Android开发中Handler用法
- 重拾UML
- UML-类图
- 关于linuxMint版本
- UML-协作图
- eclipse中怎么显示行数
- java中的类与对象
- UML类图中依赖和关联的关系