bias和variance
来源:互联网 发布:羞辱2优化补丁 编辑:程序博客网 时间:2024/05/29 16:16
在A Few Useful Thingsto Know about Machine Learning中提到,可以将泛化误差(gener-alization error)分解成bias和variance理解。
Bias: a learner’s tendency to consistently learn the same wrong thing,即度量了某种学习算法的平均估计结果所能逼近学习目标(目标输出)的程度。
Variance:the tendency to learn random things irrespective of the real signal,即度量了在面对同样规模的不同训练集时,学习算法的估计结果发生变动的程度。比如在同一现象所产生的不同训练数据上学习的决策树往往差异巨大,而实际上它们应当是相同的。
从图像角度
靶心为某个能完美预测的模型,离靶心越远,则准确率随之降低。靶上的点代表某次对某个数据集上学习某个模型。纵向上,高低的bias:高的Bias表示离目标较远,低bias表示离靶心越近;横向上,高低的variance,高的variance表示多次的“学习过程”越分散,反之越集中。
从数学定义角度
以分类任务为例,均方误差MSE(mean squared error)
,其中Y为x对应的真实类标,f(x)为预测标号
则,
所以bias表示预测值的均值与实际值的差值;而variance表示预测结果作为一个随机变量时的方差。
Bias、variance与复杂度的关系
0 0
- bias和variance
- bias和variance
- 关于bias 和 variance
- bias和variance
- bias和variance
- bias和variance
- Bias和Variance 区别
- variance 和 bias区别
- Bias和Variance
- Bias 和 Variance的理解
- bias 和 variance 的推导
- bias & variance
- 模型评估-偏差bias和方差variance
- 用variance和bias解释其overfitting
- 【机器学习笔记】权衡 bias 和 variance
- Bias-Variance Tradeoff
- Bias vs. variance
- Bias Variance Tradeoff
- arcgis api for javascript 距离与面积量算
- UIScrollView_UIPageControl
- CSS 制作3D魔方 爱的魔方给女(男)朋友一个感动
- 学习笔记——Java调用Oracle存储过程
- listView复用问题
- bias和variance
- java线程死锁实例
- linux动态库与静态库的编译与加载
- Raising Modulo Numbers
- 基于ArcGIS for javascript API 轨迹回放
- 收取承兑汇票四大注意事项
- Combination Sum III C#
- 数据结构基础 各种遍历还原二叉树
- CodeForces 484B 求最大余数