boosting之从GB到GBDT再到Xgboost

      GB是对基于boosting思想的改进，在GB基础上，用决策树（cart）作为基分类器，由此引申到GBDT。xgboost扩展和改进了GBDT。

      GB本身相当于对boosting原始思想的一种进化，即基于损失函数（loss function）在函数空间的负梯度学习。

      GB和DT（decision tree）结合，由此得到GBDT。决策树分为分类树和回归树。而GBDT里面的树是回归树（其常用于预测真是数值），其分支的依据不再是gini系数，而是损失函数，比如说均方损失函数，logloss损失函数。预测时根据多颗回归树的结果进行加权，从而得出最终结果。

     XGboost是GB算法的高效实现，其基学习器可以使决策树（CART），也可以是线性分类器（gblinear）.在其对GBDT的改进中，首先对目标函数加入了正则项，然后又对目标函数进行二阶泰勒展开，最终优化了目标函数的表达形式。另外在寻求最佳分割点时，并不是对所有特征进行枚举。