岭回归、LASSO与elastic net
来源:互联网 发布:win10手写笔记本软件 编辑:程序博客网 时间:2024/05/01 07:32
今天温习了一下这三者的区别。
一、回归
矩阵形式的多元线性模型为:
$$y=X\beta+\xi$$
那么残差为$(y-X\beta)$,残差平方和RSS为:
$$(y-X\beta)^T(y-X\beta)$$
用最小二乘法的回归的计算公式如下:
$$\hat{\beta} = (X^TX)^{-1}X^Ty$$
那么问题来了,
1)多重共线性,及非满秩矩阵。这样逆矩阵非常不稳定(因为理论上逆不存在),这样解没有意义;
2)变量比样本多时,回归系数很大,无法求解。
岭回归、LASSO和elastic net都是有偏估计。
二、岭回归
$$\widehat{\beta(\lambda)} = (X'X+\lambda I)^{-1}X'y$$
$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p \beta_j^2\}$$
三、LASSO
$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p |\beta_j|\}$$
四、elastic net
$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p (\alpha\beta_j^2 + (1-\alpha)|\beta_j|)\}$$
参考资料:
http://f.dataguru.cn/thread-598486-1-1.html
- 岭回归、LASSO与elastic net
- 弹性网络( Elastic Net) 多任务 Lasso回归 MultiTaskLasso
- 岭回归与lasso
- Ridge & LASSO & Elastic Net
- LASSO, sparse group LASSO, elastic net
- LASSO, sparse group LASSO, elastic net
- 岭回归与LASSO算法
- 岭回归与lasso详解
- 岭回归 & lasso 回归
- lasso 回归 & 岭回归
- 回归,岭回归。LASSO回归
- Lasso和Elastic net的区别
- R---岭回归 & lasso回归
- 岭回归、LASSO与LAR的几何意义
- Ridge Regression岭回归,lasso
- 岭回归、Lasso及其分析
- 最小二乘 岭回归 lasso回归
- Lasso回归
- Android OpenGL ES 绘图基本概念
- 关于IP地址与整型之间的转换
- java实现(RSA非对称加密) SHA1WithRSA加签验签 及openssl生成公私钥
- 【HDU
- salesforce中RemoteObjects的应用
- 岭回归、LASSO与elastic net
- Lucene 全文检索技术
- innerText和innerHTML的区别
- 基于Redis实现分布式锁,Redisson使用及源码分析
- Google Summer of Code 2017 Summary
- shell of zip like war
- Android 数据库框架ormlite 使用精要
- Nginx安装和配置(转)
- [Java多线程 五]---JAVA锁有哪些种类