boosting 25 year(听报告)

刚才听了周志华做的boosting 25 years.

开始讲了集成学习

讲了一个列子，成绩不好的学生抄作业，肯定是越抄越差，

如果是成绩好的学生抄作业，比如总共有三道题目，第一个学生作对第一题跟第三题，第二个学生作对第一题跟第二题，。。。那么他们相互抄的结果可能为100分。

主要有两种方法：

1.      时间序列的方法。后面的依赖于前面的结果

2.      Bagging 的方法，（并行的方法---不知道怎么解释）

他用数据证明了集成方法现在效果比较好的方法：

1.      KDD Cup

2.      Netfix Prize （电影推荐的）

在这两个数据集上做的效果比较好的方法都是采用集成的方法得到的结果。

Adaboost 的主要代码在十行左右。主要的应用包括 VJ算法

实验证明当选择八个特征时，结果就相对比较理想。

Adaboost 的训练误差与泛化误差

下面主要讲了两个理论

一个是间隔理论

最早的最小间隔理论

Z 有两篇文，主要在于理论的贡献

一个是统计学习理论

统计的需要找到一个目标函数，然后使用优化的方法来求解这个目标函数