Ridge Regression岭回归
来源:互联网 发布:python不用科学计数法 编辑:程序博客网 时间:2024/03/29 03:49
数值计算方法的“稳定性”是指在计算过程中舍入误差是可以控制的。
对于有些矩阵,矩阵中某个元素的一个很小的变动,会引起最后计算结果误差很大,这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说,如果主元(即对角线上的元素)上的元素很小,在计算时就会表现出病态的特征。
回归分析中常用的最小二乘法是一种无偏估计。
当X列满秩时,有
X+表示X的广义逆(或叫伪逆)。
当X不是列满秩,或者某些列之间的线性相关性比较大时,XTX的行列式接近于0,即XTX接近于奇异,计算(XTX)-1时误差会很大。此时传统的最小二乘法缺乏稳定性与可靠性。
岭回归是对最小二乘回归的一种补充,它损失了无偏性,来换取高的数值稳定性,从而得到较高的计算精度。
当XTX的行列式接近于0时,我们将其主对角元素都加上一个数k,可以使矩阵为奇异的风险大降低。于是:
(I是单位矩阵)
随着k的增大,B(k)中各元素bi(k)的绝对值均趋于不断变小,它们相对于正确值bi的偏差也越来越大。k趋于无穷大时,B(k)趋于0。b(k)随k的改变而变化的轨迹,就称为岭迹。实际计算中可选非常多的k值,做出一个岭迹图,看看这个图在取哪个值的时候变稳定了,那就确定k值了。
X不满足列满秩,换句话就是说样本向量之间具有高度的相关性(如果每一列是一个向量的话)。遇到列向量相关的情形,岭回归是一种处理方法,也可以用主成分分析PCA来进行降维。
转自:http://www.cnblogs.com/zhangchaoyang 作者:Orisun
0 0
- Ridge Regression岭回归
- ridge regression岭回归
- Ridge Regression岭回归
- ridge regression岭回归
- Ridge Regression - 岭回归
- Ridge Regression 岭回归
- Ridge Regression岭回归
- 岭回归(Ridge Regression)
- Ridge Regression岭回归
- 岭回归(ridge regression)
- Ridge Regression岭回归,lasso
- 岭回归(Ridge Regression)
- 岭回归(ridge regression)
- 2.Ridge Regression 岭回归
- Python回归 岭回归(Ridge Regression)
- ridge regression 脊回归 / 岭回归
- 脊回归(Ridge Regression) 岭回归
- 机器学习-Ridge Regression岭回归
- 编程之美之高效安排见面会
- uva583 Prime Factors(很水很水。。只是纪念一下脑搭的一早晨)
- ThinkPHP Where 条件中使用表达式
- PyQt4 - (3) 菜单和工具栏
- execl函数的用法
- Ridge Regression岭回归
- tomcat配置js压缩
- dgdfgdfgdrfd
- Socket网络编程笔记(二)
- JAX-RS入门 一 :基础
- Java HashSet和LinkedHashSet的用法
- iOS平台UDID方案比较
- 集合划分问题
- Exchanger