机器学习中的Bias,Error,Variance的区别
来源:互联网 发布:花都金蝶软件代理商 编辑:程序博客网 时间:2024/05/18 12:36
机器学习中的Bias,Error,Variance的区别
@(Machine Learning)
名词解释
- Error | 误差
- Bias | 偏差 – 衡量准确性
- Variance | 方差 – 衡量稳定性
这三个概念的关系是我当前不太理解的。
详细阅读参考网页。
首先,三者的关系是:
Error反映的是整个模型的准确度,Bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度。Variance反映的是模型每一次输出结果与模型输出期望值之间的误差,即模型的稳定性。
引入过拟合的思路来看,我们通过样本上训练模型来估计真实数据。即:通过有限的训练样本来估计无限的真实数据。当我们更加相信这些样本数据的真实性的时候,会尽量保证模型在训练样本上的准确度,从而去减少了模型的Bias。这样的模型很可能就会失去一定的泛化能力,导致过拟合问题。而我们为了防止过拟合,通过降低模型在真实数据上的表现时,增加了模型的稳定性,即减小Variance。这样会使模型的Bias增大。
所以,在机器学习里,Bias和Variance的取舍,平衡是一个基本主题。
模型的Bias是可以建模的:只需要保证模型在训练样本上误差最小就可以保证Bias较小。为了达到这个目的,必须用所有数据一起训练才可以达到这个目的,得到模型的最优解。
通过准 v.s. 确 的角度思考
方差和偏差均较小时,是最期待的结果,但是事情没有这么好,二者往往鱼与熊掌难以兼得,因此需要平衡。
高偏差(样本训练出来模型)+ 低方差,模型表现出来的是在远离靶心的地方稳定出现。注意稳定这个词。
低偏差 + 高方差,模型围绕着中心散列得比较开,因为低偏差的量化计算一般是通过估计整体的偏差期望,所以围绕着中心比较均匀分布时,可以得到较小的偏差,但是计算方差时,每一项都是正数(可以为0),那么方差就是偏离的累计。
高偏差 + 高方差,模型在远离中心的地方且散列较开,是最差的情形。
下面的线图,体现的是为何以及如何在Bias和Variance之间取得平衡。一般考虑Bias时用的是平方值。
模型越复杂,Bias越小,体现的是随着模型复杂度变高,在训练样本上效果越好,也无可避免得出现过拟合现象。也即,在测试样本上,方差就会越来越大。而总体误差是二者之和,得到的总体结果是U形线。所以,可见,最佳的解决思路是在该U形线最低点处取值。
- 机器学习中的Bias,Error,Variance的区别
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
- 机器学习基础(一)机器学习中的Bias(偏差),Error(误差),和Variance(方差)
- 【机器学习】bias and variance
- 机器学习:Bias(偏差),Error(误差),和Variance(方差)
- 机器学习,模型误差分析,error,bias,variance
- 机器学习入门系列03,Error的来源:偏差和方差(bias 和 variance)
- 机器学习算法中的偏差-方差权衡(Bias-Variance Tradeoff)
- bias and variance在机器学习中的应用
- 机器学习中的偏差(bias)和方差(variance)
- 机器学习:方差Variance与偏差Bias
- 【机器学习笔记】权衡 bias 和 variance
- Bias(偏差),Error(误差),Variance(方差),和K-fold Cross Validation的关系(机器学习核心)
- 机器学习--偏差(Bias)、方差(Variance)和误差(error)
- Bias和Variance 区别
- variance 和 bias区别
- Manthan, Codefest 17-E-Salazar Slytherin's Locket(数位DP)
- 八大排序算法
- 仿函数小例子
- 慕课网bootstrap一
- [POJ](2251)Dungeon Master ---三维bfs
- 机器学习中的Bias,Error,Variance的区别
- hdu 2489 Minimal Ratio Tree(prim+dfs)
- android Messenger跨进程通信
- Scroller实现View弹性滑动
- Android dp方式的屏幕适配工具使用(bat批处理方式)
- Java:HashMap、HashTable
- C++的STL之仿函数简单介绍
- 从主函数输入十个不等长的字符串,编写函数,对这些串进行排序,在主调函数中输出排好序的串,指针实现。
- 例题7-2 最大乘积(Maximum Product, UVa 11059)