xgboost ppt（3）——GB

这部分能学到的东西包括：

（1）无所不在的偏差-方差平衡

（2）目标函数：loss+正则的模式应用于回归树学习

（3）我们既要预测还要简单的模型

（4）定义了我们想要学习的（目标，模型）

（5）如何进行学习

我们如何学习

1、目标函数：loss+正则

2、我们不能用SGD，因为他们是树，不是多项式了

3、解决办法：叠加训练（boosting提升）：从一个常数值开始，每次加一个新的函数。

叠加训练

1、我们怎么决定要加的函数呢？通过优化目标函数

2、展示在第t轮的预测

注意：在平方loss中的展开计算中，有一项残差的平方被加到const项中了。

泰勒展开拟合损失

1、除了平方误差的情况，目标函数展开后仍然很复杂

2、用泰勒展开目标函数：

（1）泰勒公式

（2）含义：我现在要做的事情就是用f(t)去拟合残差：即l=(r+f(x))

3、拿MSE来进行计算演示一下

4、和之前的slice比较

新的目标函数

1、目标函数：把常数项去掉，现在的目标函数就比较清晰，它是一个关于f(x)的多项式，不管是MSE，还是logloss，都能通过开了展开的方式展成多项式

2、为什么我们要费力气进行推导呢，为什么不只增加树的数量呢？

（1）理论收益：知道我们正在学习的是什么，以及收敛性

（2）工程收益：召回监督学习的元素

---g和h来自于损失函数，是损失函数的求导

---学习仅仅通过依靠目标函数，目标函数和g和h有关

---如果要求通过MSE和逻辑loss两种方式来实现提升树，应该如何划分模型呢

重新定义树

现在我们用叶子分数作为一个向量来定义树，如图所示

定义树的复杂度

注意：不是唯一的定义形式哦~~

现在的定义是和叶子节点的数目以及叶子节点分数的L2正则相关

目标函数计算：将复杂度加进去，并且整理，是T个独立二次函数的和

i：有i个样本，每个人就是一个样本

j：叶子节点j

结构分数

1、对于单变量二次函数情况下，使式子最小的x值，已经将x带入求得的最小值

2、整理目标函数

3、按照上面的推导，也可以计算目标函数的最小值，以及使目标函数最小的w值

PS:此时Obj具有通用性，可用于自定义损失函数

结构分数的计算举例

单棵树的搜索算法

1、列举可能的树结构

2、运用下面计算分数的式子来计算结构分数

3.选择obj最小的作为最佳树结构，并且运用最优的权重

4.但是，树结构有很多很多可能

优化过程理解：假设我们有3个叶子节点，那么把这5个样本分到这3个叶子节点，有非常多的分法，我们需要一个一个的尝试，找到obj最小的，再求出最优的w，这样做很麻烦，计算量很大，需要很多尝试，还必须保证不能漏掉任何可能的结构。所以有下面的优化。

树贪婪学习

实践中，我们贪婪的增加树的数目：

（1）从深度为0的树开始

（2）对于这个树的每一个叶子节点，尝试去增加一个分割点，加入分隔点后的目标函数可见上图

（3）那么怎么找到最优的分裂点呢

高效的找出最优的分裂点

（1）首先我们选取一个特征，假如说：年龄，选取a为分裂点

（2）我们要做的就是左边和右边g和h的和，然后带入增益公式计算

（3）首先对实例点排序，对于不同的特征，从左到右线性扫描，最终决定最优的分裂点。

分裂点寻找的算法

1、对于每一个结点，对所有的特征穷举

（1）对于每个特征，通过特征值将实例进行排序

（2）沿着特征，运用线性扫描来找到最优的分裂点

（3）再遍历下一个特征，仍然用这种找分裂点的方法

2、深度为k的树的时间复杂度

（1）对于一层排序，需要时间nlog(n),由于有d个特征，k层，所以为ndklog(n)

（2）进一步优化（例如：运用近似或者将排序特征进行缓存）

对于离散变量呢

上面我们主要讨论的是连续变量，那么对于离散变量呢？

1、一些树的学习算法，是将连续变量和离散变量分开处理的，其实我们也可以用上面基于连续变量推导出来的分数计算方法

2、事实上，这里没有必要去单独的处理离散变量

（1）我们可以把离散的变量编码成数值向量，这里用的是one-hot编码。

（2）如果有很多很多类，这个向量是稀疏的，处理稀疏数据的算法优先

剪枝和正则化

1.分裂的增益，可能是负的。什么时候呢？当训练loss的减少比正则化力度还要小的时候。我们要找的是简单性和可预测性之间的平衡。

2、提前停止：

（1）如果最佳分裂点是负的，那么提前停止分裂

（2）但是也可能是一个分裂有益于后面的分裂

3、后剪枝

将一个树生长到它的最大深度，递归的剪枝，剪去叶子节点分裂是负增益的。

回顾

1、每个迭代过程增加一个树

2、每个迭代都需要计算一阶导和二阶导

3、对增长树f(x)进行贪婪统计

4、将f(x)加到模型：

（1）通常我们会加一个衰减因子，在0.1左右

（2）这就意味着我们并不是每一步都是做充分的优化，我们要为以后的迭代保留可能性，这有助于防止过拟合。