台大机器学习听课笔记---Bagging 7-4

目的：

用同一份资料制造出很多不同的小矩。

用手上的资料生出长的像“新鲜”的资料。

------------------------------------------------------------------------------------------------------------------------------------------

做法：

从手上有限的资料里去模拟不一样的资料。

每次取一部分资料出来，作记录，然后放回。重复以上操作。一种有放回的抽样方法。

Bagging：bootstrap aggregating的缩写

• PS：Boosting类似Bagging方法，但是Boosting训练是串行进行的，第k个分类器训练时关注对前k-1分类器中错分的文档，即不是随机取，而是加大取这些文档的概率。

-----------------------------------------------------------------------------------------------------------------------

实例：

Pocket算法：给pocket不同的资料，会生成不一样的线。

25条pocket算法生出来的线----这些线怎么生成的：把原来的资料作bootstrapping，再丢到pocket算法里，每个pocket算法跑1000轮。

把这25条线合起来，就得到黑色的线---非线性的边界。

基础算法对数据的随机性比较敏感，则通过Bagging效果会越好。

---------------------------------------------------------------------------------------

FunTime

Q：

从D中取一个子集N，有多大概率取到原集合？

A：3.