【deeplearning.ai】第二门课:提升深层神经网络——偏差和方差
来源:互联网 发布:无线虚能矩阵 编辑:程序博客网 时间:2024/06/14 06:30
吴恩达deeplearning.ai课程第二门:提升深层神经网络的笔记。水平有限,欢迎提出错误、交流讨论~
一、偏差和方差
通过训练集和验证集来看偏差和方差。
偏差可以理解为训练集的表现,方差可以理解为验证集的表现。训练集的误差大(欠拟合)则偏差高,训练集的误差低但验证集误差大(欠拟合)则方差高。如下例所示:
↓欠拟合:没能很好地拟合训练集,高偏差(high bias)
↓适度拟合:
↓过拟合:拟合出一个非常复杂的分类器,过渡地拟合了训练集,高方差(high variance)
对于一个分类器,考察其训练集误差和验证机误差。假设训练集和验证集来自相同分布,且人眼分辨错误率几乎为0,或者最优误差(贝叶斯误差)几乎为0。
训练集误差
1%
15%
15%
0.5%
验证集误差
11%
16%
30%
1%
过拟合,高方差
欠拟合,高偏差
高偏差,高方差
低偏差,低方差
·第一列,训练误差为1%,虽然很好地拟合了训练集,误差很低,但验证集误差很高,为11%,分类器没有很好地拟·合验证集,所以出现了过拟合,验证集误差和训练集误差相差太大,即高方差。
·第二列,训练误差和验证集误差相差不大,所以方差很低。但相对于最优误差却相差很多,分类器没有很好地拟合训练集和验证集,出现了欠拟合,所以偏差高。
·第三列,训练集误差相对于最优误差相差很多,而且验证集误差和训练集误差相差也很大,所以偏差和方差都很大。相当于下面的情况:分类器基本上是个线性分类器,没有很好地拟合数据,但在中间某地却过拟合了部分数据,会同时出现高偏差和高方差。
·第四列,训练误差和验证误差接近于最优误差,且训练误差和验证误差相差很小,这是低偏差和低方差的情况。
二、减小偏差和方差
先提升拟合训练集的性能,即降低偏差,再降低方差。不断循环这个过程,直到偏差和方差都较低。
阅读全文
0 0
- 【deeplearning.ai】第二门课:提升深层神经网络——偏差和方差
- 【deeplearning.ai】第二门课:提升深层神经网络——正则化
- 【deeplearning.ai】第二门课:提升深层神经网络——正则化的编程作业
- 【deeplearning.ai】第二门课:提升深层神经网络——权重初始化
- 【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络
- DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络
- deeplearning.ai之神经网络和深度学习
- 机器学习实战——方差和偏差
- deeplearning.ai-卷积神经网络
- 偏差和方差
- 偏差和方差
- 偏差和方差
- 偏差和方差
- deeplearning.ai 第四课第一周,step by step 卷积神经网络的python实现
- deeplearning.ai 第四课第一周, 卷积神经网络的tensorflow实现
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-4)-- 深层神经网络
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-4)-- 深层神经网络(转载)
- 深度学习DeepLearning.ai系列课程学习总结:7. 深层神经网络理论学习
- C#学习笔记
- [bzoj5042][ST表]LWD的分科岛
- A SQLiteConnection object for database '/data/user/0/com.google.android.gms/
- 列表渲染
- Messages:This method: edit for action XXX is not allowed!-Struts2.5动态方法调用错误解决方法
- 【deeplearning.ai】第二门课:提升深层神经网络——偏差和方差
- 【51Nod1952】栈
- dubbo入门官方案例学习
- springmvc上传图片方法
- Android Webview H5交互之LocalStorage
- C++数据结构: 线性表之单链表
- 缓存淘汰算法 LFU and LRU
- 进程同步与异步
- MFC多线程编程