机器学习(五):Bagging与Boosting

来源:互联网 发布:原味丝袜淘宝店铺 编辑:程序博客网 时间:2024/06/06 18:17

https://www.cs.rit.edu/~rlaz/prec20092/slides/Bagging_and_Boosting.pdf 
https://neilxu.gitbooks.io/mlnb/content/random_forests.html

  1. Bagging

    Bagging(Breiman, 1996) 通过训练许多基本分类器进行投票分类,每种基本分类器(如决策树,神经网络)通过投票的方式降低偏差增加方差。

    假设我们的任务是使用训练数据学习一个模型,我们通过对训练数据进行采样划分为N个数据集,然后训练N个基本的分类器

    Q: 这些公式的含义?

  2. Boosting

Boosting(Freund & Shapire, 1996) 通过训练多个弱分类器,调整其权重并进行投票实现分类,如下图:

Q: boosting与margin之间有什么关系?

0 0
原创粉丝点击