集成学习之Adaboost
来源:互联网 发布:淘宝联盟手机版如何用 编辑:程序博客网 时间:2024/06/06 05:53
写在前面
在前面的文章集成学习中对集成学习的大致思想进行了概括性的说明,根据模型之间是否存在依赖可将集成学习分为串行和并行两种,前者依赖于上一次模型的预测结果,后者模型之间并不相互依赖,Adaboost是boosting的最为人所知的模型,既可以用作回归任务,也可用于分类任务。
Adaboost框架原理
前面的文章中,已经对boosting框架的原理进行了说明,这里我们不厌其烦的再次给出boosting的框架示意图:
从图上可以看见,boosting算法机制大致如下:首先,根据初始化权重训练一个弱学习器
(1). 怎么计算某个学习器的错误率
(2). 怎么计算某个学习器的权重
(3). 怎么更新样本的权值
(4). 怎么组合这些学习器?
Adaboost的参数计算
首先,我们需要规定一些符号,假设样本数据是:
Adaboost分类
首先从最简单的二分类开始,输出为
Adaboost回归
Adaboost回归有多种方式,这里以Adaboost R2为例,延续上面的符号表示,回归问题中学习器
Adaboost参数推导
上面我们对Adaboost的参数更新公式进行了阐述,但公式是怎么来的还没有进行说明,这节中我们将对这些公式的推导进行说明。Adaboost是加法模型,最后的模型是对各个学习器进行结合,一般采用加权平均的方式。整个Adaboost学习过程是一个前向学习,形式化的定义是对第
Adaboost算法步骤
分类
【-输入-】:训练集
【-输出-】:最终的强分类器
(1):初始化样本权重:
回归
【-输入-】:训练集
【-输出-】:最终的强分类器
(1):初始化样本权重:
Adaboost的正则化
为防止Adaboost出现过拟合问题,可以对Adaboost模型实施正则化,只需将原来的加法模型:
总结
前面有一个没有提到,就是弱学习器的类型。理论上任何学习器都可以用于Adaboost.但一般来说,使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树,Adaboost分类用了CART分类树,而Adaboost回归用了CART回归树。
这里对Adaboost算法的优缺点做一个总结。
Adaboost的主要优点有:
(1)Adaboost作为分类器时,分类精度很高
(2)在Adaboost的框架下,可以使用各种回归分类模型来构建弱学习器,非常灵活。
(3)作为简单的二元分类器时,构造简单,结果可理解。
(4)不容易发生过拟合
Adaboost的主要缺点有:
(1)对异常样本敏感,异常样本在迭代中可能会获得较高的权重,影响最终的强学习器的预测准确性。
- 集成学习之AdaBoost
- 集成学习之Adaboost
- 集成学习之AdaBoost
- 机器学习之集成学习之adaboost
- 集成学习之Adaboost算法原理小结
- 集成学习之Adaboost算法原理小结
- 集成学习之Adaboost算法原理小结
- 集成学习之Adaboost算法原理小结
- 集成学习(ensemble learning)之AdaBoost
- 集成学习之Adaboost算法原理小结
- 集成学习 bagging-adaboost
- 集成学习:AdaBoost
- 集成学习---AdaBoost算法
- 机器学习校招笔记3:集成学习之Adaboost
- 集成学习之bagging、boosting及AdaBoost的实现
- 机器学习-->集成学习-->Adaboost
- AdaBoost集成学习算法【转载】
- 机器学习之AdaBoost
- Android拾萃
- GBDT(MART) 迭代决策树入门教程 | 简介
- 【POJ】1704
- 北京大学走在国际化的道路上
- 如何禁止服务跟启用服务
- 集成学习之Adaboost
- Java基础之字符串的编码(Encode)和解码(Decode)
- c#数组的操作
- php json 函数使用
- 仿魅思美色视频网站源码开源版
- 递归的例子
- java处理图片base64编码的相互转换
- Busybox 命令大全~~
- 关于Java的File.separator