台湾国立大学机器学习技法.听课笔记（第八讲）:Adaptive Boosting[漸次提昇法]

台湾国立大学机器学习技法.听课笔记（第八讲）
:Adaptive Boosting[漸次提昇法]

一，   Motivation of Boosting（提升法的动机）

Lin老师举了一个例子作为说明，映出boosting。

假设有一堆图片，一部分是苹果，一部分是其他的水果；有一个班的学生和一个老师，那老师怎么样引导才能让这个班中的每个学生利用自己的智慧，一起找出一个好的方法，从一堆图片中找出苹果来？

老师先叫一个学生找出一个辨认出苹果的方法：

1，叫一个同学Michael先辨认，一个学生说：是球形就是苹果，但是这样种方法会得出一些错误，我们用蓝色的底标出。得出图片1.

2，接着我们对蓝色底的图片1，请另外一个Tina学生从蓝色底的错误中来辨别出苹果来，她说是红的就是苹果，于是我们就得出另外一些错误的图片，得到图片2。

3，然后我们对蓝色底的图片2，请另外一个Joey学生从蓝色底的错误中来辨别出苹果来，她说是红的就是绿色的就是苹果，于是我们就得出另外一些错误的图片，得到图片3。

4，然后我们对蓝色底的图片3，请另外一个Jessica学生从蓝色底的错误中来辨别出苹果来，她说是红的就是有梗的就是苹果，于是我们就得出另外一些错误的图片，得到图片4。

于是此算法，我们得出：

二，Diversity by Re—weighting（多样性的权重调整）

1，Bootstrapping as Re-weighting Process（重新给定权重的自举法）

我们先来回顾一下lecture7中自举法(Bootstrapping)[即为bagging，抽取后可以放回]的例子:

我们一般对D^(~)求E_(in)的一般方法是：

我们可以把上面的式子写成带有权重的形式：

于是我们得出：

2, Weighted Base Algorithm（加权的基本算法的可行性）

于是我们得出的Weighted Base Algorithm(加权的基本算法)的基本表达形式：

那这样的表达式能不能放进SVM或者logistic regression等这些算法呢？

3,Re-weighting for More Diverse Hypothesis（对更多不同假说来重新加权）

我们已经知道了基本的加权E_(in)的表达形式，那我们能不能运用这个表达式来算出更好的g_(t)呢？

我们提出的渐进提升法的基本步骤是：

那我们怎么样才能使g_t与g_(t+1)有很大的不同，有很大的提升呢？

我们想到了：u_(t+1)带入g_t中得到的结果不是很好，这样就能使g_t得到改变：

4，‘Optimal’Re-weighting（怎么样优化Re-权重）

那要到底怎么优化呢？我们要怎么得到式子1呢？于是我们想出了：

我们通过尺寸变化得到式子1，然后就得出了g_(t)到g_(t+1)的一般表示形式：

三，Adaptive Boosting Algorithm（自适应）