“比赛算法”之xgboost算法系列

前言

有幸参加了2016年KDD CUP的数据比赛（2016.03-2016.07），最后获得了第三阶段排名12、总排名31/341的成绩。后来听说当时获得冠军的是清华的一支队伍，用的算法就是xgboost。而后，又陆续听说该算法又获得了两个比赛的冠军，自此，xgboost算法就在我脑海中留下了深刻的印象。xgboost（eXtreme Gradient Boosting）可以说是提升方法的完全加强版本。xgboost算法在各大比赛中展现了强大的威力。

随后会对该系列算法进行一个总结（包括adaboost和xgboost），不指望写个博客就能理解这个算法，只是希望可以不断的加深理解。

Adaboost：是英文”Adaptive Boosting”（自适应增强）的缩写

Xgboost： 是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包，比常见的工具包快10倍以上。在数据科学方面，有大量kaggle选手选用它进行数据挖掘比赛，其中包括两个以上kaggle比赛的夺冠方案。在工业界规模方面，xgboost的分布式版本有广泛的可移植性，支持在YARN, MPI, Sungrid Engine等各个平台上面运行，并且保留了单机并行版本的各种优化，使得它可以很好地解决于工业界规模的问题。
————————————————————————————————————————2017.03.07——————————————————

参考文章：http://blog.csdn.net/sb19931201/article/details/52557382