用bias/variance角度解释GDBT与RF的区别
来源:互联网 发布:may it be是什么意思 编辑:程序博客网 时间:2024/06/03 18:18
首先,GBDT和RF都是集成方法中的经典模型,我们需要弄清楚下面几个问题:
1、GBDT是采用boosing方法,RF采用的是baggging方法
2、bias和variance是解释模型泛化性能的,其实还有噪声
然后,理解GBDT和RF执行原理,其中GBDT中的核心是通过用分类器(如CART、RF)拟合损失函数梯度,而损失函数的定义就决定了在子区域内各个步长,其中就是期望输出与分类器预测输出的查,即bias;而RF的核心就是自采样(样本随机)和属性随机(所有样本中随机选择K个子样本选择最优属性来划分),样本数相同下的不同训练集产生的各个分类器,即数据的扰动导致模型学习性能的变化,即variance。
最后,虽然从bias/variance角度理解了区别,估计能应付面试,但真正需要针对业务场景灵活调整模型还只能去看paper。
阅读全文
1 0
- 用bias/variance角度解释GDBT与RF的区别
- Bias与Variance的理解
- 用variance和bias解释其overfitting
- Bias和Variance 区别
- variance 和 bias区别
- bias与variance的权衡(tradeoff)
- variance与bias
- 机器学习中的Bias,Error,Variance的区别
- Bias 和 Variance的理解
- bias 和 variance 的推导
- bias & variance
- 偏差与方差(Bias and Variance)
- 机器学习:方差Variance与偏差Bias
- 偏差与方差(Bias and Variance)
- 偏差(Bias)与方差(Variance)
- 偏见方差的权衡(Bias Variance Tradeoff)
- Bias && Variance及相关的问题理解
- 偏差bias/方差variance 的理解
- Quartz相关配置
- lintcode之有效的括号序列(valid parenthese)
- sql row_number用法
- Kotlin学习笔记
- 第六章(1至4节) 彩色图像处理
- 用bias/variance角度解释GDBT与RF的区别
- 原型对象与原型链
- mysql-使用mycat实现简单的读写分离
- 内置函数
- dp、sp和px的相互转换
- 关于listview点击Item滑动到视图中间的做法。
- h264格式
- 209. Minimum Size Subarray Sum
- android事件分发机制