Adaboost算法的可视化训练过程

    数据挖掘中有十大经典算法（C4.5，CART，PageRank，Apriori，K-Means，kNN，Naive Bayes，Adaboost，EM，SVM），而其中的Adaboost算法尤为出名，因为它极少出现过拟合现象，而且训练非常简单,速度快。（当然，SVM更出名，效果更好，所以SVM一直统治江湖，直到近年来，深度学习的发展，这种格局才被打破）。

    之前也看过一些网友(学者）的博客（文章），却总是云里雾雨，理解不深。上次参加周志华教授做的精彩报告《AdaBoost到LDM》后，就想深入地学习一下该算法。

    希望多挤时间，把EM，SVM等一些经典的算法（尤其是可视化过程）纪录下来，激励自己。

    初次在CSDN上写东西。如有错误，欢迎指正；如感兴趣，欢迎留言。

原理

可视化

                                                      训练过程

具体细节

第 1 次迭代

注：第一幅图，表示权重之和；

第二幅图也就是H(x），

正样本落入红色区域表示正确分类，落入蓝色区域表示错误分类，

负样本落入蓝色区域表示正确分类，落入红色区域表示错误分类，

第三幅图：分类结果。

第 2 次迭代

第 3次迭代

第 19次迭代

第 20 次迭代

第 21 次迭代

测试结果

                                       

小总结

通过多个（线性）弱分类器的集成，组成强分类器，然后对非线性问题进行分类。

参考文献

1.Schapire, R.E.: Explaining AdaBoost.

2.Schapire, R.E., Freund, Y.: Boosting: Foundations and Algorithms. MIT Press (2012).