xgboost 解释

来源:互联网 发布:windows 打开dos 编辑:程序博客网 时间:2024/05/16 08:26

这里写图片描述

注:红色箭头指向的l即为损失函数;红色方框为正则项,包括L1、L2;红色圆圈为常数项。xgboost利用泰勒展开三项,做一个近似,我们可以很清晰地看到,最终的目标函数只依赖于每个数据点的在误差函数上的一阶导数和二阶导数。

  • 函数中的变量是y^2,将ft(xi)看成△x,所以原始就可以化成如下所示

  • gi由于是一次导,所以需要对L函数中的y^2求导

  • hi是对L函数中的y^2求二次导