GBDT

1. 作为一名小白，被GBDT和Xgboost整的一脸懵逼，现写下一些笔记，所有内容都来自各大神的榜文，此文仅用于个人阅读笔记，如有不对，欢迎指出~~~~
2. 首先要明确一下什么是GB（Gradient boosting），什么是DT（Decision Tree）。DT就不说了，周志华老师讲的很明白。现在说一下GB：
   
   维基上的伪代码，简单明了。一开始最让我懵逼的就是2.2，用残差的梯度构造一个学习器，所以这个学习器有无限的可能性，但是考虑到boosting是针对弱学习器的算法，你懂得。
   3.现在就可以好好谈谈GBDT了：
   
   对比伪代码可以发现，GBDT只是把2.2固定成了DT而已。
   所以说，GBDT的每一棵树是先用残差梯度训练好的，而每一棵树的预测值是根据最后的公式算出来的。
   有地方说这里的决策树的叶子节点数是固定的~~~
   
   4.下面是对GBDT分类问题的说明
   
   5.一个很有意思的问题
   
   6.补充说明
   
   7.疑问：
     1.为什么梯度可以作为残差的估计？