adaboost.M1与adaboost.M2差别比较

三种算法的差别

adaboost是由Yoav Freund和Robert E. Schapire 首先提出来的一种用于二分类问题的集成方法，紧接着出现的adaboost.M1将二分类扩展到多分类问题，而adaboost.M2不仅可以处理多分类问题，还引入了置信度的概念，进一步扩展了adaboost算法。

adaboost的简单介绍

由

H(x)=sign(∑t=1Tαtht(x))

可知
adaboost采用的集成方式是对基分类器的结果进行加权求和，如果结果大于0则样本被分为正类，如果结果小于0则样本被分为负类。
adaboost算法要做的就是每次迭代过程中，赋予被错误分类的样本更大的权重，从上图的步骤10可以看出：

Dt+1(i)={Dt(i)∗e−αtDt(i)∗eαtif ht(xi)=yi,if not.(1)

如果一个样本被上一个分类器正确分类，那么它的权重将乘以e−αt(e−αt∈(0,1)),
如果这个样本被上一个分类器错误分类，那么它的权重将乘以eαt(e−αt>1)。
也就是说错误分类的样本权值相对于正确分类的样本权值扩大了e2αt倍，而e2αt=1−ϵtϵt

adaboost.M1

与前面提到的原版adaboost不同，adaboost.M1适用于多分类问题，为此，adaboost.M1对算法进行了一些必要的修改。不同之处在于：

一

H(x)的形式发生了一些变化，没有使用符号函数sign(),但作用并没有发生实质的变化，任然可以看成是及基分类器对输出结果进行投票，而且基分类器的权重实质上也没有变化，依然是ln(1−ϵtϵt)

二

对比第十步可以发现，adaboost.M1对权值更新函数做了一些调整以适应多分类的问题。权值更新规律如下：
如果一个样本被上一个分类器错误分类，那么它的权重不变，
如果这个样本被上一个分类器正确分类，那么它的权重将乘以βt=ϵt1−ϵt
也就是说错误分类的样本权值相对于正确分类的样本权值扩大了1−ϵtϵt倍，这与adaboost的权值更新法。

adaboost.M2

在adaboost.M2中算法对基分类器的输出形式做出了限制，给定一个样本，基分类器对c1到cm的类都输出一个介于0和1之间的值，表示这个样本属于某个类的概率，且这些值相加等于1。
wti,y表示第t次迭代中样本i的某个错误标签y的权重

Wti表示在第t次迭代中样本i的的错误标签的权重和

qt(i,y)表示wti,y在Wti中占的比重

Dt(i)表示第i个样本在所有样本中占的权重

adaboost.M2的思路还是提高难以被正确分类的样本的权重，
假如样本可被分为A，B, C三类，某个样本xi的真实标签为A，上一个基分类器对xi的分类结果如下：

类别 A B C 概率 0.1 0.4 0.5

显然当前基分类器对这个样本的分类不理想，那么adaboost.M2算法会根据步骤8来计算计算当前基分类器的误差，接着步骤10会修改错误类B,C的权重，进而在下一次迭代的步骤6中更新这个样本的权重。