机器学习18-XGBoost的推导过程
来源:互联网 发布:ae软件怎么下载 编辑:程序博客网 时间:2024/04/30 12:08
一,对随机森林的重新思考
随机森林的每个决策树由随机样本数,随机样本特征,通过信息熵的度量来确定,可以说各个决策树之间是相互独立的,每个树只是在某个分类方向上具有优势(弱分类器),将具有优势的这些树组成森林,即可生成随机森林,从而达到分类的目的。但是如果我想对随机森林进一步提升准确率,应该采取什么策略呢?有以下2个方向:
1,决策树。
假定当前得到m-1颗决策树,可以根据样本与决策信息影响第m颗决策树的生成。很显然的将分错的样本权值增大,将分对的样本权值减小能在训练样本上能得到较高的准率
图m=1中,绿线左边3个红点,右边2个蓝点分错,将这5个点加权再分,以此类推分下去,可以得到很好的分类器。
2,各个决策树组成随机森林后,最后的投票过程不采用少数服从多数规则,投票过程在建立决策树时就确立。
二,算法框架
假定样本的噪声符合高斯分布,典型的损失函数就定义为预测值与实际值的误差平方,则目标函数的最优解就是所有样本损失最小的函数
此时F(x)是一簇基函数f(x)的加权和
则算法转化为求一簇基函数的最小损失值,根据策略1,我们应该根据前m-1个决策树来决定生成怎样的第m颗决策树,不妨第一颗决策树就是一个常数函数f1(x)= c
接下来的工作便是怎么确定权值,怎么根据m-1颗树确定第m颗树
三,目标函数
:第i个样本根据前t-1颗树确定的测试值
:第i个样本根据第 t 颗树确定的值
:第 t 颗树的正则项
根据Taylor展开式,在x处2阶展开,忽略高阶无穷小。
令
将目标函数Taylor展开
值得注意的是,L是给定的,y的真实值是知道的,预测值是根据前t-1颗树知道的,则gi和hi是可算的。
四,重新定义决策树
一个xi的样本进入决策树分类是由最终的的叶子权值决定,即黑色实心圆,而中间的空心圆只是决定的 xi 样本落入到哪一个叶子。
q(x)表示样本x落入的叶子
Wq(x)表示样本x落入叶子的权值,即样本X经过决策树所对应的权值
所以一颗决策树的核心是:“树结构”与“叶权值”
举例
五,正则项的定义
决策树的复杂度可参考叶节点数和叶权值
举例
六,目标函数的计算
定义
得
对W求偏导
代入目标函数
举例
XGBoost公式做的事情
- 机器学习18-XGBoost的推导过程
- XGBoost推导过程
- 理解XGBoost机器学习模型的决策过程
- xgboost的模型推导
- 机器学习--Logistic回归计算过程的推导
- 机器学习:GBDT和XGBoost的区别
- 机器学习:XGBoost
- 【机器学习】Xgboost原理
- 机器学习-xgboost
- 机器学习公式推导-Γ函数的推导
- 机器学习SVM之SMO方法α,ω和b迭代公式的推导过程
- 西瓜书《机器学习》阅读笔记6——Chapter3_公式(3.27)的推导过程
- 机器学习----xgboost学习笔记
- 机器学习中范数的梯度推导
- 关于机器学习中最小二乘法的推导
- 机器学习算法推导
- 【机器学习】Softmax推导
- 机器学习----XGBOOST参数说明
- UICollectionView的多选
- MongoDB--数据库与Collection注意事项
- C/S架构和B/S架构的概念和区别
- kafka入门
- linux之nagios安装教程
- 机器学习18-XGBoost的推导过程
- web系统启动报错:mysql数据库连接many connection errors; unblock with 'mysqladmin flush-hosts' 解决方法
- 你在哪,现实就在哪
- Python3.5+PyQt5多线程+itchat实现微信防撤回桌面版代码(二)
- Activity(View)的存储与恢复
- javascript初学记1----各种玩乐的数组
- 【JAVA】通过第三方API接口地址获取信息
- ERROR : arm-linux-ld:u-boot.lds:1: ignoring invalid character `#' in expression
- 无损联接分解