强分类器-----提升树的原理和推导

来源:互联网 发布:金十数据如何看原油 编辑:程序博客网 时间:2024/05/16 02:59

参考李航老师的统计学习方法一书

提 升方法实际上采用加法模型和前向分布算法,其中以决策树为基函数的提升方法称为提升树。

对于分类问题:决策树是二叉分类树,其中损失函数为指数损失函数

对于回归问题:决策数是二叉回归树,其中损失函数为误差平方和

一般决策问题:一般损失函数,为梯度下降算法

1. 提升树原理

对于二分类问题只需要将AdaBoost中的基本分类器限定为二分类树即可,即是AdaBoost的特殊情况

下面进行讨论回归问题的提升树模型

2 提升树算法例子

则s及对应的m(s)的计算结果列表如下




原创粉丝点击