机器学习笔记——集成学习
来源:互联网 发布:横新软件怎么样 编辑:程序博客网 时间:2024/05/31 19:20
1、什么时候用集成学习?
集成学习有利于减少模型方差,因此当模型复杂度复杂度太高时可以用集成学习方法
参加kaggle等比赛的时候
2、bagging和boosting的基学习器有一样的特点?
bagging的基学习器更强一些,它们学习的对象都是目标任务,最终的预测模型是直接拿子模型的决策结果投票或者做平均;boosting的基学习器更弱一些,可以说是非常弱,它们学习的都只是目标任务的一部分(可以这么理解),即使自己的任务学习的很好,看起来也很弱,所以这种弱是相对整体学习任务而言的。
3、Adaboost算法
为了把样本权重更新公式简化成一个,用at替换掉dt。
dt的推导:
一个小例子:
按照前面所述,这里的d貌似没有必要计算;而且,这里貌似用a同时作为样本和子模型的权重更新乘子。应该用a作为子模型的权重更新乘子,同时,对某个样本而言,其权重
更新公式为:
当样本被正确分类时
当样本被误分类时
或者合并为
D表示所有样本的权重构成的向量。
4、为啥训练错误率已经为0了测试错误率还在下降?
因为margin在增大,这使得模型越来越鲁棒
阅读全文
0 0
- 机器学习笔记——集成学习
- 机器学习算法——集成学习
- 机器学习笔记(八)集成学习
- 机器学习笔记(5)-集成学习
- 机器学习笔记四------集成学习
- 机器学习—学习笔记
- 机器学习:集成学习
- 机器学习-集成学习
- 【机器学习】集成学习
- [机器学习]集成学习
- 机器学习--集成学习
- 『机器学习算法』集成学习——AdaBoost
- 《机器学习》阅读心得——八、集成学习
- 机器学习分类算法——集成学习
- 机器学习笔记——决策树学习
- 机器学习笔记——贝叶斯学习
- 学习笔记——机器学习导论
- 周志华《机器学习》——学习笔记
- C#基础-007 swith-case的用法
- Python3 大型网络爬虫实战 001 --- 搭建开发环境
- Mtbatis传入Date格式异常 Error querying database.
- [002-u-boot-Exynos4412] SDK BL2阶段详解
- poj 1094
- 机器学习笔记——集成学习
- OpenGL
- ruby to_json "\xE6" from ASCII-8BIT to UTF-8 (Encoding::UndefinedConversionError)
- flume
- ArcGIS api for javascript+jquery实现简单的图层控制切换
- Ubuntu下安装MySQL
- python实现-取近似值
- 在eclipse下运行hadoop程序
- Java进阶之路