adaboost算法简介

来源：互联网发布：网络曝光暴力捉奸编辑：程序博客网时间：2024/06/07 05:48

adaboost算法介绍

最近开始学习人脸识别和分类器方面的东西，看了一篇介绍adaboost算法的论文，感觉不错，给大家分享一下：

adaboost算法的指导思想是“三个臭皮匠赛过诸葛亮”，原理是从很多的弱分类算法中根据某种准则选择一些好的弱分类算法，再将这些弱分类算法整合到一块，形成一个强分类算法。论文只考虑了将目标分成两类的情况。对于每一个给定的模式x_i ，每一个弱分类器给出相应的分类选择k_j ( x_i ) ∈ {-1，1} ，最后整合成一个强分类器，线性合成即可，如下：

C(x_i )=a₁ * K₁ (x_i ) +a₂* k₂ (x₂ ) +......+a₁₁* k₁₁ (x_i ) (1)

其中，k₁ ，k₂ ，......k₁₁ 代表11个选中的弱分类器，a₁ ，a₂ ，a₁₁ 代表赋给相应若分类器的权值,注意，个数不一定，视具体情况而定。

首先，我们需要从弱分类器集合 (不同情况下分类器集合也不同 )中找到合适的分类器。具体做法是找一组事先分好类的训练数据集T{ (x_i ，y_i )}，其中y_i ∈{-1，1}表示x_i 所属的分类。假如需要L个弱分类器，那么程序需要迭代L次，每一次从分类器集合中选择一个当前最优 (即使得当前C (x_i )分类结果最好 )的分类器，M次迭代以后，合成最后的强分类器。那么如何才能找到当前最好的分类器呢？我们来看一下第M次迭代的情况，目前合成的强分类器形式如下：

C_m-1 (x_i )=a₁ *K₁ (x_i )+a₂ *k₂ *(x₂ )+......+a_m-1 *k_m-1 (x_i ) (2)

我们想要把上式扩展为

C_m (x_i )= C_m-1 (x_i )+a_m *k_m (x_i ) (3)

在第一次迭代时(m=1),C_m-1 =0.接下来，我们定义一个判断分类器误差的公式：

E=∑ exp{ -y_i * (C_m-1 (x_i )+a_m *k_m (x_i ))} (4)

i=1

上式 (4 )中，a_m 和k_m 是未知的，因为我们的目的是找到k_m ，我们可以将式子 (4 )改写成下面两个公式：

E= ∑ w_i ^(m) exp{ -y_i *a_m *k_m (x_i )} (5)

i=1

w_i ^(m) =exp{-y_i * C_m-1 (x_i )} (6)

其中，i=1，2......N.在第一次迭代中，w_i ⁽¹⁾ =1.而在后续的迭代中，w_i ^(m) 会动态的变化。我们继续对上式进行改写：

E = ∑ y_i= k_m (x_i ) { w_i ^(m) * exp{ -a_m } } + ∑ y_i ≠ k_m (x_i ) { w_i ^(m) *exp{ a_m } } (7)

因为y_i 与k_m (x_i )相等时， -y_i * k_m (x_i )=-1；而不相等时，-y_i _* k_m (x_i )=1.式子 (7 )中的第一部分可以记为W_c * exp (-a_m )，第二部分可以记为W_e * exp (a_m )，则式子变为：

E=W_c * exp (-a_m )+W_e * exp (a_m ) (8)

在选择k_m 时，a_m 的值是不相关的，因此可以先假设a_m 为固定值，因为exp{a_m }>1,那么使E减小等价于使E*exp{a_m }减小，由式 (8 )得，

exp{a_m }* E=W_c +W_e *exp (2a_m )= (W_c +W_e )+W_e * ( exp{2a_m }-1 ） (9)

分析右边的式子，由于 (W_c +W_e )是当前迭代时权值和，是一个常量。而exp{2a_m }>1,因此式子的大小就取决于W_e 的大小，即每次迭代总是选取使得当前W_e 最小的分类器。

接下来，确定a_m 值的大小，对式子 (8 )两遍对a_m 求微分，如下：

d(E)/d( a_m )₌ -W_c* exp{ -a_m } + W_e* exp{ a_m } (10)

另上式等于0，解方程，可得

a_{m= 1/2 * ln{} W_c /W_e } (11)

令e_m = W_e/ W,则上式可化简为

a_{m= 1/2 * ln{} (W-W_e )/W_e }= 1/2 * ln{ (1-e_m )/e_m } (12)

根据上述分析步骤，可写出adaboost伪代码如下：

初始化 w_i ⁽¹⁾ =1

for m=1 to M

1 从分类器集合中选取当前最优分类器 k_m ，该分类器使得下式值最小：

W_{e =} ∑ y_i ≠ k_m (x_i ) { w_i ^(m) }

2 计算该分类器的权值

a_{m= 1/2 * ln{} (W-W_e )/W_e }= 1/2 * ln{ (1-e_m )/e_m }

3 更新样本数据集合的权值，使得分类错误的数据权值变大，分类正确的数据权值变小，

if k_m (x_i ) ≠ y_i

w_i ^(m+1) = w_i ^(m) * exp{ a_m }

else

w_i ^(m+1) = w_i ^(m) * exp{ -a_m }

adaboost算法步骤不算复杂，但是关键要理解其原理及为什么要这样进行选择，这篇论文深入浅出的对adaboost进行了一系列的推导和分析，个人感觉不错，本人翻译的不太好，有兴趣可以读一下原论文，题目是AdaBoost and the Super Bowl of Classifiers A Tutorial Introduction to Adaptive Boosting。