线性回归
来源:互联网 发布:淘宝优惠券app排名 编辑:程序博客网 时间:2024/06/11 20:15
把监督式学习中关于房屋价格的例子稍作更改,除了原有数据,再加入卧室数量这一数据项。
现在输入变成了一个二维向量,其中
上式中
构成
由上面的最小方差成本函数衍生出最小方差回归模型。
1 LMS算法
要选择合适的权重值
其中
将成本函数关于某一权重
对于单个训练样本则有:
该方法被称为最小均方差更新法(Least Mean Squares),也叫Widrow-Hoff学习法。这种方法直观而自然,我们可以看到当预测值与实际值接近时,权重变化就会很小;反之,权重就会变化很大,从逻辑而言这个公式也合情合理。
上面的公式只对单个训练样本,我们有两种方法可将其推广到整个训练集的回归,其一执行以下操作:
它每次更新要遍历整个训练集,因此称为批梯度下降法。注意到,该方法确实有可能落入局部最优解的陷阱,但我们暂时只考虑仅含一个全局最优解的优化问题,这时该方法每次都能收敛到全局最优。
成本函数是一个凸二次函数,下面我们给一个梯度下降优化二次函数的图示:
上图的椭圆代表二次函数的等高线,折现的轨迹是梯度下降的路径,而其上的每个点则表示
如果我们使用梯度下降法求解之前仅有房屋面积的例子,可得
将卧室数量也加入特征中,则求得:
除了批梯度下降,还有一种方法同样表现出色,它的运行步骤是这样的:
这种方法每遇到一个样本就更新一次权重,它被称为随机梯度下降法或增量梯度下降法。由于批梯度下降每走一步都要遍历训练集,当样本个数很大时,训练的时间成本就很高。随机梯度下降每遇一个样本就更新一次权重,普遍来说收敛速度会快于批梯度法(虽然有时会无法收敛到最优解,而是在最优解附近振荡,即使如此得到的近似依然很好)。当训练集很大时,随机梯度下降往往比批梯度下降更受欢迎。
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- linux下I2C驱动体系结构及在FL2440开发板上的具体实现
- log4j:WARN Please initialize the log4j system properly.maven项目启动停止,卡住
- oracle创建表空间
- Spring Security4.0.3源码分析之http标签解析
- svn+maven 生成hotfix打包的版本号无法自动更新
- 线性回归
- FZU-2148 求n个点构成的凸四边形的个数
- 描述在浏览器中敲入一个网址并按下回车后所发生的事情
- 获取网页链接
- Android对话框介绍--AlertDialog简单介绍
- BGP 选路属性验证
- POJ1759_Garland_二分::应该枚举哪个值
- 4建造者模式(Builder)
- JS统计一个JSON元素数量