ridge regression岭回归
来源:互联网 发布:头像p图软件 编辑:程序博客网 时间:2024/03/29 17:29
岭回归用于处理下面两类问题:
1.数据点少于变量个数
2.变量间存在共线性
变量间存在共线性是,最小二乘回归得到的系数不稳定,方差很大,这是因为系数矩阵x与它的转置矩阵相乘得到的矩阵不能求逆,而ridge regression通过引入lamda参数,使得该问题得到解决。在R语言中,MASS包中的函数lm.ridge()可以很方便地完成。它的输入矩阵x始终为n*p维,不管是否包含常数项。
当包含常数项时,该函数对y进行中心化,以y的均值作为因子,对x进行中心化和归一化,以x中各个变量的均值和标准差作为因子。这样对x和y处理后,x和y的均值为0,这使得回归平面经过原点,即常数项为0.因此,虽然指定了包含常数项,它给出的系数lmrige coef里也没有常数项的值。在使用该模型进行预测的时候,也需要首先对x和y进行中心化和归一化,因子是使用训练时候进行中心化和归一化的因子,然后再与系数相乘得到的预测结果,这里需要指出的是,如果建立模型后在命令行窗口直接输入lmridge,也会出现一整套系数,该系数会包含常数项,这个系数和模型给出的系数lmridge coef不一样,因为它是针对没有归一化和中心化数据的,在预测的时候可以直接使用该系数,不需要对数据进行归一化和中心化。
当指定模型不包含常数项时,因为要强调通过原点,该模型假设各个变量的均值为0,因此不对x和y进行中心化。但是对x进行归一化,而且归一化因子也是假设变量均值为0计算出的该变量的标准差。在进行预测的时候,如果使用lmridge$coef的系数,那么需要对数据进行归一化。如果使用lmridge直接给出的系数,只需要直接相乘。
ridge regression中lamda的选择:可以使用select(lmridge)进行自动设置,一般使用GCV最小值,lamda的范围是大于0即可。
岭回归的原理
岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价,获得回归系数更为符合实际、更可靠的回归方法,对病态数据的耐受性远远强于最小二乘法。
岭回归的原理较为复杂。根据高斯马尔科夫定力,多重相关性并不影响最小二乘法估计量的无偏性和最小方差性,但是,虽然最小二乘估计量在所有线性估计量中是方差最小的,但是这个方差都不一定小,而实际上可以找到一个有偏估计量,这个估计量虽然有较小的偏差,但它的精度却能够大大高于无偏的估计量。岭回归分析就是根据这个原理,通过在正规方程中引入有偏常熟二求的回归估计量的。
缺点:通常岭回归方程的R平方值会稍低于普通回归分析,但回归系数的显著性往往明显高于普通回归,在存在共线性问题和病态数据偏多的研究中有较大的实用价值。
高斯-马尔科夫定理
在统计学中,高斯-马尔科夫定理陈述的是:
在误差零均值,同方差,且互不相关的线性回归模型中,回归系数的最佳无偏线性估计BLUE就是最小方差估计。
一般而言,任何回归系数的线性组合之BLUE就是它的最小方差估计。
在这个线性回归模型中,误差既不需要假定正态分布,也不需要假定独立(但需要不相关这个更弱的条件),更不需要假定同分布。
具体而言,假设
- Ridge Regression岭回归
- ridge regression岭回归
- Ridge Regression岭回归
- ridge regression岭回归
- Ridge Regression - 岭回归
- Ridge Regression 岭回归
- Ridge Regression岭回归
- 岭回归(Ridge Regression)
- Ridge Regression岭回归
- 岭回归(ridge regression)
- Ridge Regression岭回归,lasso
- 岭回归(Ridge Regression)
- 岭回归(ridge regression)
- 2.Ridge Regression 岭回归
- Python回归 岭回归(Ridge Regression)
- ridge regression 脊回归 / 岭回归
- 脊回归(Ridge Regression) 岭回归
- 机器学习-Ridge Regression岭回归
- 精神reset
- 无线路由器常用的五种工作模式详细介绍
- 百度地图SDK for Android【离线地图】
- jsp开发中的一些记录
- ORM映射的弊端以及它对数据库优化影响
- ridge regression岭回归
- 学生信息管理分析系统
- 解决方法:远程计算机需要网络级别身份验证,而您的计算机不支持该验证
- linux 终端常用命令
- 一些有用的网站
- centos 64 位系统安装postgresql odbc 方法
- 设置ubuntu Android sdk环境变量
- Codeforces Beta Round #34 (Div. 2)——C
- 简要分析蓝牙驱动