GBDT--简单理解

梳理

1.Model Ensemble 可以分为三大类：Bagging，Boosting， Stacking.

2.Boosting可以说是一个思想（框架），而Adaboost等算法只是其一个子类，记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award？：

3.Boosting的 前向分布算法（在每一步求解弱分类器Φ(m)和其参数w(m)的时候不去修改之前已经求好的分类器和参数）：

4.不同的objective和最小化其的方法决定了不同种类的Boosting:

5.GBDT其实就是上图中的Gradient Boosting的一个子类（弱分类器为决策树）

决策树

1.决策树的入门介绍参考: 算法杂货铺——分类算法之决策树(Decision tree)

2.决策树的特征选择: 1）信息增益， 2）信息增益比

3.决策树的生成算法：1）ID3算法–根据信息增益； 2）C4.5算法–根据信息增益比； 3）CART（包括回归和分类；二叉树生成）

4.决策树的剪枝：其实就是一个Loss和T（表示决策树结点个数）trade off的过程

5.具体细节参考:《统计学习方法–李航》