原始GBDT推导

来源:互联网 发布:幻影2000和歼20 知乎 编辑:程序博客网 时间:2024/05/30 05:19


GBDT采用的是数值优化的思维, 用的最速下降法去求解Loss Function的最优解, 其中用CART决策树去拟合负梯度, 用牛顿法求步长.

XGboost用的解析的思维, 对Loss Function展开到二阶近似, 求得解析解, 用解析解作为Gain来建立决策树, 使得Loss Function最优.


原创粉丝点击