coursera机器学习技法笔记(7-8)——blending and bagging & Adaptive Boosting
来源:互联网 发布:网页源文件提取数据 编辑:程序博客网 时间:2024/05/21 17:23
7 Blending and Bagging
7.1 Motivation of Affregation
之前都是通过特征转换达到更好的分类目的,而有另一种思路就是将多个模型的分数线性组合起来以期得到更好的效果。它们的权重应为x的函数,这样能包含投票、取最大等多种情况。
7.2 Uniform Blending
本节从理论上探讨了blend的可行性:
则:
可以看出,任选一个g_t其误差期望是大于平均后的误差期望的。另外,令
可以看出,blend做的事就是令前一项尽量小以得到更加稳定的结果。
7.3 Linear and Any Blending
在给定
另外,在选择
另外,如果在两次训练中不使用线性模型,而使用非线性模型,则该方法称为Any Blending或是stacking。如果使用非线性模型,应当注意过拟合问题。
7.4 Bagging Booststrap Aggregation
如果
8 Adaptive Boosting
8.1 Motivation of Boosting
本节主要讲述了boost算法的动机,即一个分类器没有办法很好的分类,但是当一个分类器犯错之后加大犯错样本的权重,让后来的分类器更重视这个样本,最后把所有方法组合起来能得到一个好的分类器。
8.2 Diversity by Re-weighting
在bootstrap中我们通过对训练集进行可重复采样得到不同的训练集,我们可以把这一过程看做是对不同样本集进行了加权处理。因此,当我们使用多个分类器进行聚合的时候,我们希望不同的分类器通过对样本进行不同加权的方法使他们表现的区别很大。具体的来说,就是在给定分类器
我们希望的是
可以看到,分子是分类错误的权重,分母是分类正确与分类错误的权重和,而我们要做的是让分类错误的权重和等于分类正确的权重和。因此,假设分类错误的权重和是1126,分类正确的权重和是6211,则在每个错误分类的权重上乘以6211,在每个正确分类的权重上乘以1126即可。注意的是,乘以的比例可以拉伸,因此将6211拉伸成正确率,将1126拉伸成错误率。
8.3 Adaptive Boosting Algorithm
接上节的思路,我们可以让错误的样本权重乘以
由此,我们得到了每一轮训练之后的样本权重变化方式,那么还有个问题就在于算法如何组合起来。这里可以排除投票法,因为不能让一个在某些样本上表现很差的
这里使用了
最后得到线性组合是:
另外,从VC维的角度说,该算法的误差上限是:
根据作者的相关证明,当每个分类器的错误率略大于一半时,经过
8.4 Adaptive Boosting in Action
在实际上经常应用于adaboost的算法是decision stump:
这个分类器的意思是,在所有维度里面选择一个维度、一个阈值以及一个方向,据此决定这个样本的分类,例如当第三个向量大于2时为负。选择它是因为实现简单,只需
- coursera机器学习技法笔记(7-8)——blending and bagging & Adaptive Boosting
- 机器学习技法笔记(7-8)——blending and bagging & Adaptive Boosting
- 机器学习技法课程学习笔记7 -- Blending and Bagging
- 机器学习技法-Blending and Bagging
- 台湾大学林轩田机器学习技法课程学习笔记7 -- Blending and Bagging
- 机器学习技法课程学习笔记8 -- Adaptive Boosting
- 机器学习技法-Adaptive Boosting
- 《机器学习技法》第七讲:Blending and Bagging
- 机器学习笔记-Blending and Bagging
- 《机器学习技法》第八讲:Adaptive Boosting
- 台湾大学林轩田机器学习技法课程学习笔记8 -- Adaptive Boosting
- 台湾国立大学机器学习技法.听课笔记(第七讲):Blending(混合) and Bagging(自举)
- 机器学习笔记-Adaptive Boosting
- 台湾国立大学机器学习技法.听课笔记(第八讲):Adaptive Boosting[漸次提昇法]
- coursera机器学习技法笔记(12)——Neural Network
- coursera机器学习技法笔记(15)——Matrix Factorization
- 集成学习——bagging and boosting
- coursera机器学习技法笔记(1-4)——Support Vector Machine
- Swift学习第一枪
- Java中finalize关键字的使用
- web Toast pop 弹窗 效果 悬置2s 消失
- Python学习2016.4.12
- ActivityManagerService基本概念
- coursera机器学习技法笔记(7-8)——blending and bagging & Adaptive Boosting
- Android自定义视图三:给自定义视图添加“流畅”的动画
- Microsoft Bingdat
- UVA, 563 Crimewave
- intent调用代码总结
- Linux+Nginx/Apache/Tomcat新增SSL证书,开启https访问教程
- PullToRefreshGridView 带下拉刷新,上拉加载的GridView控件
- apache commons io checkstyle报告(2016-04-21更新)
- [算法]找出单链表中的倒数第k个元素