Bagging v.s. Boosting

来源:互联网 发布:网络层作用 编辑:程序博客网 时间:2024/06/03 16:01

取样

  • Bagging:均匀取样,随机,各轮之间独立
  • Boosting:根据错误率

预测函数权重

  • Bagging:无
  • Boosting:有

预测函数生成顺序

  • Bagging:并行
  • Boosting:串行

bias & variance

  • Bagging:降低方差,每个基分类器的偏差和方差接近,随基模型数量增加,方差降低,但偏差基本不变
  • Boosting:降低偏差,boosting基本思想是最小化指数损失函数,可降低偏差,但模型间相关性强,不能明显降低方差