斯坦福机器学习公开课7-x过拟合欠拟合和解决方法
来源:互联网 发布:plsql从excel导入数据 编辑:程序博客网 时间:2024/05/14 15:50
建立多项拟合方程的时候可能由于特征太多造成过拟合。也就是构造了太复杂的多项式完全只是为了你和样本数据。使得模型不具有通用性。这个是过拟合。太多复杂的项可以使得模拟的方程几乎完全拟合样本。
如果特征太少就可能造成欠拟合,拟合效果不好。
例如
这里第一是欠拟合。第三是过拟合。第二都是恰恰好
首先来看过拟合如何解决
1 手动减少特征的数量
2 使用正则化方法(正规化方法)
正规化方法的思路如下
修改代价函数。例如下图
为了使得theta3 theta4的值变小。我们在代价函数里面加一个惩罚theta3 theta4的项。慢慢让theta3 theta4变小。变得适合类似二次函数。但是这里我们是已知类似的是二次函数。所以要修改theta3 theta4的惩罚值。所以正则化的一般思路就是。让theta的值很小,这样的曲线一般比较光滑。
所以我们在代价函数里面增加一个对于theta的求和并且乘以一个lamata。这个lamata叫做正则化参数。注意正则化一般从theta1开始。
这个lamata就是需要调整的参数,可以调整拟合效果。
lamata的主要作用。第一是保证前面的 sigma (h - y)有效拟合样本数据 第二是保证所有的theta都比较小。
如果lamata非常小。那么sigma theta的和几乎可以被忽略。所以模型拟合样本非常好。容易出现过拟合。
如果lamata非常大。为了使得j(theta)代价函数最小。那么只能使所有的theta都约等于0. 只留下一个参数theta0 这样就会欠拟合
所以调整lamata很重要
0 0
- 斯坦福机器学习公开课7-x过拟合欠拟合和解决方法
- 【斯坦福---机器学习】复习笔记之欠拟合和过拟合的概念
- 公开课机器学习笔记(2)欠拟合与过拟合
- 局部加权回归、欠拟合、过拟合 - Andrew Ng机器学习公开课笔记1.3
- 斯坦福大学公开课机器学习课程(Andrew Ng)三欠拟合与过拟合
- 【机器学习】过拟合与欠拟合
- 机器学习--欠拟合与过拟合
- 机器学习-回归模型-欠拟合和过拟合
- 机器学习-回归模型-欠拟合和过拟合
- 机器学习:什么是欠拟合和过拟合
- Stanford机器学习[第三课]-欠拟合与过拟合
- 【机器学习-斯坦福】学习笔记3 - 欠拟合与过拟合概念
- 【机器学习-斯坦福】学习笔记3 - 欠拟合与过拟合概念
- 【机器学习-斯坦福】学习笔记3 - 欠拟合与过拟合概念
- 【机器学习系列】斯坦福课程——欠拟合与过拟合概念
- 欠拟合和过拟合
- 过拟合和欠拟合
- 过拟合和欠拟合
- PAT 乙级 1030. 完美数列(25)
- 我是怎么治好自己的单纯疱疹的!!!!!
- vm文件,.vm后缀的文件
- 【POJ2504】Bounding box(计算几何)
- PHP判断客户端是否使用代理服务器及其匿名级别
- 斯坦福机器学习公开课7-x过拟合欠拟合和解决方法
- android开发中怎么在界面上实现曲线图
- error:stray'\350'in program
- JSON数据解析总结
- Sql小白入门(一)概述
- Android7.0系统进入Zygote进程
- c++中operator 操作
- Yii框架自带验证码使用
- LintCode 69-二叉树的层次遍历