[集成学习] bagging和boosting

来源:互联网 发布:安卓软件破解 编辑:程序博客网 时间:2024/05/22 03:25

Bagging ( Boostrap Aggregating)

对样本再采样(Boostrap),对每一重采样的子样本训练一个模型,最后取平均,所以是降低模型的variance。

Bagging比如Random Forest这种先天并行的算法都有这个效果。


Boosting则是迭代算法,每一次迭代都根据上一次迭代的预测结果对样本进行加权,所以随着迭代的不断进行,误差会越来越小,所以模型的bias会不断降低。这种算法无法并行,比如Adaptive Boosting