ML—AdaBoost算法

华电北风吹
日期：2016-05-21

AdaBoost算法通过提高被前一轮弱分类器错误分类样本的权值，降低那些被正确分类的样本的权重，然后构建一系列的分类器，通过分类器的加权投票做出最终决策。

一、AdaBoost算法
AdaBoost算法流程
——————————————————————————————————
对于输入样本(x(i),y(i)),i=1,2,...,m，设置弱分类器的个数N
step 1. 初始化训练样本权重w1,i=1m,i=1,2,...,m
step 2. 依次前向构建每个弱分类器k=1,2,...,N
　　　a. 根据当前每个样本的权重wk,i,i=1,2,...,m训练分类器Gk(x)使得分类器在样本权重集w上加权分类准确率最低。
　　　b. 计算分类器Gk(x)的分类准确率
　　　ek=∑mi=1wk,iI(Gk(x(i))≠y(i)))(1-1)
　　　c. 计算Gk(x)的系数αm
　　　αk=121−ekek(1-2)
　　　d. 更新样本权重
　　　wk+1,i=wk,iZkexp(−αky(i)Gk(x(i))),i=1,2,...,m(1-3)
　　　其中,Zk为归一化因子，保证所有样本加权和一直为1.
　　　Zk=∑mi=1wk,iexp(−αky(i)Gk(x(i)))(1-4)
step 3. 设分类器的线性组合为
f(x)=∑Nk=1αkGk(x)(1-5)
最终的判别函数为
G(x)=sign(f(x))=sign(∑Nk=1αkGk(x))(1-6)
——————————————————————————————————
关于上面AdaBoost算法里面涉及到的参数做一点简单说明。
1、由于这是训练数据集，所以对于任何一个分类器都应该有em≤12。
2、所有的αk,k=1,2,...,N的和不一定1.
3、对于权重更新方式(公式1-3)，意义在于分类正确的就以指数形式降低权重，分类错误就指数形式增加权重。

二、AdaBoost收敛性分析
AdaBoost算法通俗易懂，但是这样加权投票方式，不同于Bagging少数服从多数，深入理解的话肯定有疑问这样的加权能够提高分类准确率吗？现在我们来解决这个问题，随着弱分类器的个数增多，分类错误率单调递减。
1、AdaBoost的误差界满足如下不等式
1m∑mi=1I(G(x(i)))≠y(i)≤1m∑mi=1exp(−y(i)f(x(i)))=∏Nk=1Zk(2-1)
证明：
对于前半部分不等式部分的证明，exp(−y(i)f(x(i)))肯定大于等于0，并且当G(x(i)))≠y(i)时，有exp(−y(i)f(x(i)))≥1，所以前半部分证明完毕。
对于后半部分等式部分证明如下，
1m∑mi=1exp(−y(i)f(x(i)))
　　=1m∑mi=1exp(−∑Nk=1αky(i)Gk(x))
　　=1m∑mi=1∏Nk=1exp(−αky(i)Gk(x))
　　=∑mi=11m∏Nk=1exp(−αky(i)Gk(x))
　　=∑mi=1w1,i∏Nk=1exp(−αky(i)Gk(x))
(2-2)
由公式(1-3)可得
Zkwk+1,i=wk,iexp(−αky(i)Gk(x(i))),i=1,2,...,m(2-3)
将公式(2-3)递归带入公式(2-2)最后一项，便可得到公式(2-1)等式部分。至此，公式(2-1)证毕。

2、对于二分类问题的训练误差界有如下不等式
∏nk=1=∏nk=12ek(1−ek)−−−−−−−−√=∏nk=11−4γ2k−−−−−−√≤exp(−2∑nk=1γ2k)(2-4)
这里，γm=12−em
对于每一个的权重归一化因子Zk有，
Zk=∑mi=1wk,iexp(−αky(i))Gk(x(i))
　　=∑y(i)≠Gk(x(i))wk,ie−αk+∑y(i)=Gk(x(i))wk,ieαk
　　=(1−ek)e−αk+ekeαk
(2-5)
根据公式(2-1)知 Zk越小，错误率减小的越快，对上式求偏导，即可得到AdaBoost中的等式(1-2)，将等式(1-2)带入上式得，
Zk=∏nk=12ek(1−ek)−−−−−−−−√=∏nk=11−4γ2k−−−−−−√(2-6)
有
1−4γ2k−−−−−−√≤exp(−2γ2k)(2-7)
综上的可得到公式(2-4)。
并且，对于所有的γk若有γk≥γ，则有
1m∑mi=1I(G(x(i)))≠y(i)≤exp(−2Nγ2)(2-8)
公式(2-8)说明了，AdaBoost的误差以指数速率下降。