GBDT-沿着梯度提升的决策树
来源:互联网 发布:centos macaddr 不写 编辑:程序博客网 时间:2024/06/05 17:38
注:本文中所有公式和思路来自于李航博士的《统计学习方法》一书,我只是为了加深记忆和理解写的本文。
在上一篇文章中,介绍了基于残差的提升树,采用加法模型和前向分布算法,损失函数为平方损失,优化过程比较容易,但对于一般的损失函数,可能不会这么容易,因此提出了梯度提升的算法。利用的是最速下降法的近似方法,其关键是利用损失函数的负梯度在当前模型的值
作为回归提升树中的残差近似值,拟合一棵决策树。
具体算法如下:
其中需要解释几个与提升树的不同之处,在第一步中,我们本来应该是y与预测值y~的差值,这里设f(0)为常数,y~=c*f(0),所以统一划归为c中(其实f(0)可以通过求导消掉,我们姑且理解为划归入c中)。在第(2)(a)步中,损失函数对f(x)求偏导计算出损失函数的负梯度在当前模型的值,将它作为残差的近似(伪残差),第(2)(b)步中,估计回归树叶节点区域,用来拟合残差的近似值,第(2)(c)步用线性搜索方式估计叶节点区域的值,使得损失函数极小化,最后一步(d)更新回归提升树。
基于残差的提升树
0 0
- GBDT-沿着梯度提升的决策树
- GBDT:梯度提升决策树
- GBDT:梯度提升决策树
- GBDT--梯度提升决策树
- GBDT 梯度提升决策树
- GBDT:梯度提升决策树
- GBDT:梯度提升决策树
- GBDT:梯度提升决策树
- GBDT:梯度提升决策树
- GBDT:梯度提升决策树
- GBDT:梯度提升决策树
- GBDT 梯度提升决策树的简单推导
- GBDT(梯度提升决策树)剖析
- 从决策树到GBDT梯度提升决策树和XGBoost
- 简单易学的机器学习算法——梯度提升决策树GBDT
- 【ML笔记】梯度提升决策树(GBDT)和随机森林(RF)的异同
- 机器学习方法篇(9)------梯度提升决策树GBDT
- GBDT 梯度下降决策树
- jQuery 自定义网页滚动条样式插件 mCustomScrollbar 的介绍和使用方法
- 解决:AndroidStudio 下使用AIDL不能生成对应java文件
- Python Array
- Android 日志库 Logger的简单使用
- cpp 外部暴力访问类内私有变量
- GBDT-沿着梯度提升的决策树
- VC++ STL理论介绍
- 羊的数量
- linux驱动 cdev,inode结构体
- POJ 3167 Cow Patterns KMP+暴力
- [leetcode]3.longest substring without repeating characters
- 刘兵《Entity and aspect extraction for opinion mining 》翻译笔记
- 设计模式 - 创建类模式总结篇
- ehcache.xml配置文件详解