岭回归and逐步线性回归杂记
来源:互联网 发布:led中性工程软件 编辑:程序博客网 时间:2024/04/28 15:00
1.预备知识:对于有些矩阵,矩阵中某个元素的一个很小的变动,会引起最后计算结果误差很大,这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说,如果主元(即对角线上的元素)上的元素很小,在计算时就会表现出病态的特征。
回归分析中常用的最小二乘法是一种无偏估计。
当X列满秩时,有: X+表示X的广义逆(或叫伪逆)。
当X不是列满秩,或者某些列之间的线性相关性比较大时,XTX的行列式接近于0,即XTX接近于奇异,计算(XTX)-1时误差会很大。此时传统的最小二乘法缺乏稳定性与可靠性。
2.岭回归原理:
岭回归是对最小二乘回归的一种补充,它损失了无偏性,来换取高的数值稳定性,从而得到较高的计算精度。
3. 岭回归推导:
岭回归(Ridge Regression)是在平方误差的基础上增加正则项,
通过确定的值可以使得在方差和偏差之间达到平衡:随着的增大,模型方差减小而偏差增大。
对求导,结果为:
令其为0,可求得的值:
4.值的选取:
在这里我们通过调整lamda的值控制model compexity ,用图中选择合适的值!即:通过预测误差最小化得到:数据获取之后首先抽取一部分数据用于测试,剩余的作为训练参数w。训练完毕之后在测试集上测试预测性能。通过选取不同的来重复上述测试过程,最终得到一个使预测误差最小的。
5.应用到的技术
这里用过引入来限制了所有w之和,通过引入惩罚项,能够减少不重要的参数,这个技术在统计学中也叫做缩减(shrinkage)!\
缩减方法可以去掉不重要的参数,因此能更好的理解数据。此外,与简单的线性回归相比,缩减法能取得更好的预测效果。
- 岭回归and逐步线性回归杂记
- 线性回归,LWLR,岭回归,逐步线性回归
- 线性回归、局部加权线性回归、岭回归、lasso及逐步线性回归
- 线性回归 and Logistic回归
- 线性回归和岭回归
- 线性回归、logistic回归
- 线性回归&Logistic回归
- 回归:多元线性回归
- 回归-线性回归
- sklearn中线性回归、岭回归、多xiang式回归
- 机器学习总结(一):线性回归、岭回归、Lasso回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- 线性回归
- Linux常用命令(二十九) - date
- android写入txt文件防止中文乱码终极版(解决方案)
- note for mgcinfocollector
- three.js 源码注释(三十三)Scenes/Scene.js
- Duilib中各个类的简单介绍
- 岭回归and逐步线性回归杂记
- 利用SQL存储过程创建表的插入数据语句(用于到别处还原整张表)
- ef 调用 函数
- Android初始化语言(init.rc语法)
- 【DP|水】HDU-1422 重温世界杯
- 2. Dubbo原理解析-Dubbo内核实现之基于SPI思想Dubbo内核实现
- 【ASP.Net】解析IsPostBack属性
- c#打开WORD,PDF,HTM的方法
- matlab图像配准