Adaboost 详解

本文会详细介绍 Adaboost (Adaptive Boosting) 这一 ensemble 模型（属于 boosting）。

1. 算法简介

boosting

这属于集成（ensemble）算法中的提升（boosting）方法，是迭代算法。我们每一轮迭代寻找一个合适的 weak learner 集成到模型中（本质上是梯度下降），通过 T 轮的迭代来集成出一个强分类器，这是一个 boosting 提升过程。

adaptive

这涉及实现提升的细节。所有的样本都有自己的 weight，初始化时一致。training 时每一轮迭代，我们要更新所有样本的 weight，模型正确判别的样本 weight 减小，而错误判别的样本 weight 增加。这就是 Adaboost 的核心了，这非常像一个我们依据错误经验持续学习的过程。

steepest decent with approximate functional gradient

本算法数学上可以解释为类似在函数空间上做最速梯度下降。每次迭代中，选择的 weak classifier 函数其实是当前负梯度方向，而对应的权值则是在此方向使 loss 减少最多的步长（greedy~）。这里使用的 loss function 是 exponential function，而 GBDT（gradient boost decision tree）推广到了其他 error function，也可以说 AdaBoost 是一种 GBDT。

2. 训练流程详解

实际上不同 Adaboost 版本的细节策略略有不同，这里讲解的是Viola-Jones 的 Real-Time Face Detection 论文（AdaBoost 的一个著名的成功应用）中使用的版本。

2.1 initialization

假设我们有 N 个样本 D=[(x1,y1),(x2,y2),...,(xn,yn)]，其中 x 为特征向量，y 为 0/1 分类的 label。
我们要迭代训练 T 轮，样本集 weight 向量 ut=1,2...T 初始化为 ut=1=[1N,1N,...,1N]，即 N 个样本的重要性一开始是一致的，且和为 1。
（这是正例负例等比例的情况，不等比例时，可以假设正例 M 个而负例 L 个则初始化为 ut=1=[12M,12M,...,12L,12L]，即保证正负例各自总权重皆为 12）

2.2 training iteration

（对于第 t 轮迭代）

• 选取 weak classifier 并计算 error：
  根据当前样本权重 ut 获取一个当前最好的 weak classifier ht(x) 函数（训练一个 decision tree 或者 decision stump），函数输出 0/1 结果，其相关 error 为 ϵt=1N∑Ni=1uti|ht(xi)−yi|。这里应该有 0≤ϵt<0.5，因为我们要求 weak classifier 至少优于乱猜。

• 更新训练集样本权重：
  针对 ϵt，我们设置一个核心变量 scaling factor st=1−ϵtϵt（1<st<∞），并更新样本集 weight ：
  

  ut+1i={utiuti/stht(xi)≠yi, incorrect caseht(xi)=yi, correct case
  
  除了上述公式，之后还会对 ut+1i 重新 normalize ut+1i=ut+1i∑Nj=1ut+1j，保证和为 1。
  可以注意到这里的 adaptive 的机制：本轮迭代 ht(x) 错误分类的样本的 weight 会增大（scale up incorrect），正确分类样本的 weight 相应减小（scale down correct）

• 确认此 weak classifer 权重：
  会根据本轮 ht(x) 的表现给予它一个权重 αt=ln st（0<αt<∞）；当 ϵt=0 时，αt=∞ 即对于完美的 classifier 我们可以给到无穷大的权重；而当 ϵt=0.5 时，αt=0 即对于乱猜的 classifier 直接不予集成。可见 error 越小的分类器权重越大。

2.3 aggregation

历经 T 轮训练后，将 T 个 ht(x) 线性集成为 strong classifier。实际上集成的参数在迭代过程中已经决定了，这又称为 linearly on the fly with theoretical guarantee，涉及的理论验证之后会详述。

C(xi)={10∑Ttαtht(xi)≥12∑Ttαtotherwise

ht(xi) 是 weak classifier 的 0/1 投票，αtht(xi) 则是加权投票；当所有 weak classifier 对样本的加权投票结果大于整体权值的 12 时，strong classifier 判定样本为 positive，否则为 negative。

3. Weak Classifier

这里把训练流程中的 weak classifier 单独拿出来详细说明。

3.1 Compare to Random Forest

Random Forest 也是 ensemble 集成算法，属于 bagging 类别，通过 bootstrap 来 uniformly aggregate 了一组等权重的 decision tree，然后通过投票给出整体结果。这是使用 classification（输出 0/1 结果） 或者 regression decision tree 都可以。

这个也是 weak classifier 集成为 strong classifier 的过程，但是集成思想和 Adaboost 不一致（bagging vs. boosting）。Adaboost 也可以使用 classification decision tree 作为 weak classifier，但更常用的是更 weaker 的 decision stump。这里还可以想象一下，我们如果给 Adaboost 一个 fully grown 的 decision tree，那么可能会有 ϵ=0，s=∞，训练就崩坏了~ 所以即使用 decision tree 也要做约束出弱的树，而不是像 Random Forest 那样 fully grown。

3.2 Decision Stump

这个是一个弱弱的 weak classifier，类似只有 1 层的树，只剩一个树桩了。具体公式如下：

hf,p,θ(x)={10if p(f(x)−θ)>0otherwise

x 为样本，f(x) 为某一 feature 维度上的取值，θ 为 threshold，p 用于控制 direction。总的来说，decision stump 即选择一个特定 feature 维度，使用简单 threshold 和 direction 来进行决策。无论多么复杂的数据集，只需要3个参数就完全定义了这个弱弱的 decision stump，我们对它的期待只是比随机好一点点，ϵ<12 就好。

3.3 Adaboost 中使用 Decision Stump

Adaboost 常用 decision stump 作 weak classifier，即训练流程中寻找的 h(x) 就是 decision stump。在样本集 N-samples 和 特征空间 M-dimensions 中结合当时样本 weight 学习到最优 h(x) 其实是一个搜索过程，也可以看做是 feature selection；目标是最小化加权 error rate：（VJ 版本的 uti 保证和为 1，所以下式不需要再除以 ∑Ni=1uti）

minhϵt=∑i=1Nuti|ht(xi)−yi|

具体应用时还有 2 个性能上的考量：

• 时间复杂度
  为了优化训练时间，在迭代之前要对M个维度依次排序并 cache 结果，复杂度 O(M⋅N∗logN)。之后每次迭代只需要 O(M⋅N) 就可以找到当前轮 t 最优 ht(x)。
• 空间复杂度
  cache 住的结果如果存在硬盘的话会极大降低搜索速度，我们希望全部放在内存，这里空间复杂度为 O(M⋅N)。对于 VJ 原论文中 N=1万、M=16万，考虑 int 存储 feature value 则 cost=4×16×108B=6.4GB。考虑到扩充特征集、扩充数据集、存储结构效能等问题，其实内存要求是很严峻的。

4. 理论支持

（本节参考了 Hsuan-Tien Lin 机器学习技法课程）
Adaboost 凭什么能完成 weak classifiers to strong classifier？凭什么可以收敛？可以越来越好？我们可以从数学层面（steepest decent with approximate functional gradient）找到充分解释，本节详细阐述。

4.1 公式及符号重新定义

之前“2. 训练流程详解”使用的是 VJ 论文中原版公式。这里为了更清晰解释数学理论，会改动一些公式定义：

• 定义数据 label y 与 classifier h(x) 输出为 -1/+1 而非之前的 0/1，这可以简化很多公式
  
  • yiht(xi)=1 即表明判定正确
  • 弱分类的 error rate 写作：ϵt=∑Ni=1uti [yi≠ht(xi)]∑Ni=1uti，这里是标准的 rate 了
  • strong classifier 判别公式写作：C(xi)=sign(∑Ttαtht(xi))（使用符号函数 sign 直接处理正负向加权投票之和，非常简洁），依然有 αt=ln st
  • 这里将上式中弱分类器加权投票和记作 vote score=∑Ttαtht(xi)，后续数学推导使用

• 改变 scaling factor s 公式为 st=1−ϵtϵt‾‾‾‾‾‾‾√，比之前版本多了一个 square root，取值范围不变，这是为了方便后续数学推导

• 样本权重 u 公式更改为下述，这个改动也不大，也是为了方便后续数学推导（原公式只考虑 scale up，然后 normalize；现在加入 scale down 而去掉了麻烦的 normalize）：
  

  ut+1i={utistuti/stht(xi)≠yi, incorrect caseht(xi)=yi, correct case
  
  然后这里最妙的一步是直接把上式简化为： ut+1i=utis−yiht(xi)t

4.2 loss function of AdaBoost

根据 αt=lnst 可以有 st=exp{α}，

进而可以对样本权值公式进一步变换：

ut+1i=utis−yiht(xi)t=uti(exp{αt})−yiht(xi)=utiexp{−yiαtht(xi)}

我们假设所有样本权值训练前初始化为 u0i=1N，则可以得到经过 T 轮训练后的样本权值：

uT+1i=u0i⋅∏t=1Texp(−yiαtht(xi))=1N⋅exp(−yi∑t=1Tαtht(xi))

可以看到任意样本 xi 的最终权重与所有 weak classifier 整体 vote score=∑Tt=1αtht(xi)) 有关，即：

uT+1i∝exp{−yi(vote score on xi)}

上式右侧实际上就是 exponential error：

• 整体 strong classifer 可以写作 C(xi)=sign(vote score on xi)，所以 yi(vote score on xi) 的正负表示判定正确或错误
• yi(vote score on xi) 越大，表示判定越正确，对应的负指数值就越小
• yi(vote score on xi) 越小，表示判定越错误，对应的负指数值就越大

这实际上就是 Adaboost 的目标就是 exponential error 越来越小（最优化问题），也可以说是让所有样本的权值越来越小；最终 error/loss function 为所有样本的 exponential error 之和：

EADA=∑i=1NuT+1i=1N⋅∑i=1Nexp(−yi∑t=1Tαtht(xi))

4.3 loss function 内在意涵

上述的 exponential error 实际上可以找到直观解释。先变化 strong classifier 判别公式如下：

C(xi)=sign(∑tTαtht(xi))=sign(∑tTwtϕt(xi))

我们可以把 α 看作线性模型中的 weight，而一系列的 h(x) 看做是 SVM（support vector machine） 中一系列函数映射 ϕ(x)，SVM 正是利用映射原始数据到其他空间进行线性分割的。结合 SVM 优化目标：

margin=yi(wtransϕ(xi)+b)||w||

比对上式，其实 AdaBoost 包含带符号的非正规化 margin：

signed and unnormalized margin=yi∑Tt=1αtht(xi)

AdaBoost 的目标是让这个 margin 尽量为正数且最大化，也就是让其负指数尽量小于1且最小化，也就是我们之前得到的 error/loss function。
另外，因为使用了 exponential，分类错误的 penalty 呈指数增长 (1,∞)；而一旦分类正确，则 penalty 只在 (0,1) 范围。这里有个问题是 AdaBoost 对噪声或脏数据敏感。

4.4 Gradient Descent

标准套路

Gradient Descent 标准套路是我要从当前位置（模型状态）走一小步，让 loss 最快的下降（减少）：

min||v||=1E(wt+ηv)≈E(wt)+ηv∇E(wt)

• wt 表示第 t 轮迭代时，当前的 weight vector
• v 表示走的方向（向量，有 length 约束）
• η 表示走的步长（标量，一般是一个较小的正数）

目标其实是找到一个让 loss 函数下降最快的方向 v，上式的约等于号是一阶泰勒展开，再加上其他数学工具可以证明最优的方向是负梯度方向 v=−∇E(wt)。

AdaBoost 的 Gradient Boost 套路

AdaBoost 的套路很类似，核心是其通过新加入函数来完成梯度下降，这个函数对应最速下降的方向，而函数的权重对应了下降的步长。AdaBoost 在第 t 轮迭代时，优化目标如下：

minhtEADA=1N⋅∑i=1Nexp{−yi(∑τ=1t−1ατhτ(xi)+ηht(xi))}

我们在原始 loss function 中新加入一项 ηht(xi)，就是说在第 t 轮的时候，我们想找一个新的函数 ht(xi) 给出 loss 最速下降的方向（相当于标准套路中的向量 v），η 则同样是走的步长，整体上就是想优化 loss 而已。以下先对上式进行化简：

minhtEADA=∑i=1N1Nexp{−yi(∑τ=1t−1ατhτ(xi))}exp{−yiηht(xi)}=∑i=1Nutiexp{−yiηht(xi)}

然后我们把上式看作：∑Ni=1utiexp{0+γ}, γ=−yiηht(xi)，即把 γ 作为自变量（这样原函数导数还是原函数~），然后作一阶泰勒展开（或者说对原式作麦克劳林展开）：

minhtEADA≈∑i=1Nutiexp{0}+∑i=1Nutiexp{0}(−yiηht(xi))=∑i=1Nuti−∑i=1Nutiyiηht(xi)=∑i=1Nuti+η∑i=1Nuti(−yiht(xi))

这里注意，在当前第 t 轮，上式左侧的 ∑Ni=1uti 是一个确认的常数，不能再优化了。上式右侧的步长 η 我们先认为它是一个固定值（反正肯定是一个非负实数）；这里我们的优化目标变为：
发现一个方向 h(x)，使得 ∑i=1Nuti(−yiht(xi)) 最小。

这里特别重要的一点是，ht(x) 确定的是方向，它的 scale 理论上是没有意义，这种情况下我们一般会约束其 scale（例如标准 GBDT 中就会）。但是！在 AdaBoost 中，我们的 ht(x) 本身的输出只是 -1/1 状态，本身就没有 scale 的概念，所以不需要额外约束！

对上述目标进一步变化：

∑i=1Nuti(−yiht(xi))=∑i=1N−uti [yi=ht(xi)]+∑i=1Nuti [yi≠ht(xi)]=−∑i=1Nuti+∑i=1N0 [yi=ht(xi)]+2∑i=1Nuti [yi≠ht(xi)]=−∑i=1Nuti+2(∑i=1Nuti)⋅ϵt

经过变换后，上式除了 ϵt 都是 constant，我们要优化的目标只有最右侧的 ϵt=∑Ni=1uti [yi≠ht(xi)]∑Ni=1uti。

Recap 一下，我们想找到一个方向 ht(x) 使 ϵt 最小。这本身就是 AdaBoost 定义的 weak classifier ht(x) 的选取标准，一般是通过在特征空间上搜索选取 Decision Stump 实现，这一过程近似地获取到最速下降方向。

4.5 Steepest Descent

我们在上一小节中已经确认了让 AdaBoost loss function EADA 最速下降的方向是某一 ht(x)，我们接下来需要考虑在这个方向要走多大的一步（η）？

对于 Gradient Descent 的标准套路，η 会作为一个训练的超参数（学习率），可以尝试定义不同的值，然后通过 validation 选择合适的学习率；有时还会加入 annealing 退火机制或其他机制来动态调节学习率。但是在 AdaBoost 中，我们每走一步的代价是巨大的：

• 不能直接计算出负梯度方向，而是通过一个子过程寻找一个近似最优函数方向，耗费时间
• 需要在最终模型上多集成一个函数，这直接影响最终模型使用性能

所以，我们希望每走一步，都尽可能走最大的一步，尽量减少走的步数。上一小节，我们固定 η，通过 minhEADA^ 确定了 ht(x) 方向（approximate functional gradient）；现在，我们使用这个 ht(x)，通过 minηEADA^ 来走出减少 loss 的最大的一步（greedily faster），这个套路被称为 Steepest Descent。以下进行最优 η 的推导（注意这里使用了泰勒展开之前的准确 loss 公式）：

minηEADA^=∑i=1Nutiexp{−yiηht(xi)}=∑i=1Nutiexp{−η}[yi=ht(xi)]+∑i=1Nutiexp{η}[yi≠ht(xi)]=(∑i=1Nuti)⋅((1−ϵt)exp{−η}+ϵtexp{η})

由于上式只有一个未知数 η，所以直接求导 ∂EADA^∂η=0 来解出最优值：

∂EADA^∂η=(∑i=1Nuti)⋅(−(1−ϵt)exp{−η}+ϵtexp{η})=0−(1−ϵt)exp{−η}+ϵtexp{η}=0ϵtexp{η}exp{−η}=(1−ϵt)exp{η}exp{η}=1−ϵtϵtη=ln1−ϵtϵt‾‾‾‾‾‾‾√

上式即标准的 AdaBoost 计算 weak classifier 相关权重的公式 αt=lnst=ln1−ϵtϵt‾‾‾‾‾‾‾√！

现在可以完整地说：AdaBoost 每一次迭代，会选取一个函数 ht(x) 近似 loss 最速下降方向，并计算 αt 作为当前最优下降步长，来集成这个新的 weak classifer；本质上是做梯度下降，这是 AdaBoost 的理论基础。