Ridge Regression岭回归
来源:互联网 发布:socket编程语言 编辑:程序博客网 时间:2024/04/18 07:55
数值计算方法的“稳定性”是指在计算过程中舍入误差是可以控制的。
对于有些矩阵,矩阵中某个元素的一个很小的变动,会引起最后计算结果误差很大,这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说,如果主元(即对角线上的元素)上的元素很小,在计算时就会表现出病态的特征。
回归分析中常用的最小二乘法是一种无偏估计。
当X列满秩时,有
X+表示X的广义逆(或叫伪逆)。
当X不是列满秩,或者某些列之间的线性相关性比较大时,XTX的行列式接近于0,即XTX接近于奇异,计算(XTX)-1时误差会很大。此时传统的最小二乘法缺乏稳定性与可靠性。
岭回归是对最小二乘回归的一种补充,它损失了无偏性,来换取高的数值稳定性,从而得到较高的计算精度。
当XTX的行列式接近于0时,我们将其主对角元素都加上一个数k,可以使矩阵为奇异的风险大降低。于是:
(I是单位矩阵)
随着k的增大,B(k)中各元素bi(k)的绝对值均趋于不断变小,它们相对于正确值bi的偏差也越来越大。k趋于无穷大时,B(k)趋于0。b(k)随k的改变而变化的轨迹,就称为岭迹。实际计算中可选非常多的k值,做出一个岭迹图,看看这个图在取哪个值的时候变稳定了,那就确定k值了。
X不满足列满秩,换句话就是说样本向量之间具有高度的相关性(如果每一列是一个向量的话)。遇到列向量相关的情形,岭回归是一种处理方法,也可以用主成分分析PCA来进行降维。
原文来自:博客园(华夏35度)http://www.cnblogs.com/zhangchaoyang作者:Orisun
原文地址:http://www.cnblogs.com/zhangchaoyang/articles/2802806.html
0 0
- Ridge Regression岭回归
- ridge regression岭回归
- Ridge Regression岭回归
- ridge regression岭回归
- Ridge Regression - 岭回归
- Ridge Regression 岭回归
- Ridge Regression岭回归
- 岭回归(Ridge Regression)
- Ridge Regression岭回归
- 岭回归(ridge regression)
- Ridge Regression岭回归,lasso
- 岭回归(Ridge Regression)
- 岭回归(ridge regression)
- 2.Ridge Regression 岭回归
- Python回归 岭回归(Ridge Regression)
- ridge regression 脊回归 / 岭回归
- 脊回归(Ridge Regression) 岭回归
- 机器学习-Ridge Regression岭回归
- 安卓framework层强制打开硬件加速
- Faceting on a field in SolrCloud with docValues=true and indexed=false fails
- TortoiseGit保存用户名密码
- live555 RTSP服务器建立及消息处理流程
- CentOS/Linux 开放80、8080端口或者开放某个端口
- Ridge Regression岭回归
- 用SQLServer 2014 还原数据库
- 公平席位分配的比例+惯例法和Q值法
- 深入理解操作系统虚拟内存
- Eclipse中出现Type 'xxxx' could not be resolved的处理方法
- RTP RTCP 客户端接收RTSP中媒体数据
- 空格字符和空字符的区别
- 百度地图地理编码接口
- haml