lasso
来源:互联网 发布:网络融资平台利息高 编辑:程序博客网 时间:2024/04/28 00:59
Lasso 的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下,使残差平方和最小化,从而能够产生某些严格等于0 的回归系数,得到可以解释的模型。
lasso回归:
lasso回归的特色就是在建立广义线型模型的时候,这里广义线型模型包含一维连续因变量、多维连续因变量、非负次数因变量、二元离散因变量、多元离散因变,除此之外,无论因变量是连续的还是离散的,lasso都能处理,总的来说,lasso对于数据的要求是极其低的,所以应用程度较广;除此之外,lasso还能够对变量进行筛选和对模型的复杂程度进行降低。这里的变量筛选是指不把所有的变量都放入模型中进行拟合,而是有选择的把变量放入模型从而得到更好的性能参数。 复杂度调整是指通过一系列参数控制模型的复杂度,从而避免过度拟合(Overfitting)。 对于线性模型来说,复杂度与模型的变量数有直接关系,变量数越多,模型复杂度就越高。 更多的变量在拟合时往往可以给出一个看似更好的模型,但是同时也面临过度拟合的危险。
lasso的复杂程度由λ来控制,λ越大对变量较多的线性模型的惩罚力度就越大,从而最终获得一个变量较少的模型。除此之外,另一个参数α来控制应对高相关性(highly correlated)数据时模型的性状。 LASSO回归α=1,Ridge回归α=0,这就对应了惩罚函数的形式和目的。我们可以通过尝试若干次不同值下的λ,来选取最优λ下的参数,还可以结合CV选择最优秀的模型。
1.
代码版
Comparison of the LASSO and adaptive LASSO estimators
2.中文版
http://blog.csdn.net/xbinworld/article/details/44276389
如前面的ridge regression,对
的维度是0。而实际应用中,数据的维度中是存在噪音和冗余的,稀疏的解可以找到有用的维度并且减少冗余,提高回归预测的准确性和鲁棒性(减少了overfitting)?
3.写的最好
http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/
- LASSO
- Lasso
- Lasso
- lasso
- Process Lasso
- Lasso回归
- LASSO问题
- Lasso Regression
- Lasso学习
- Lasso Regression
- Lasso问题
- Lasso Regression
- lasso 详介
- Lasso Regression
- lasso变形(一)----group lasso
- LASSO, sparse group LASSO, elastic net
- LASSO, sparse group LASSO, elastic net
- lasso(L1正则化、lasso回归)
- 转载-教你彻底学会动态规划——入门篇
- 关于Ubuntu系统下使用wine时,中文显示为方块的解决办法
- 分享一个有不少关于科研的电子书的网站
- shutdown函数 & 套接字选项
- 厦门工程技术人员职称申报操作笔记 02 论文
- lasso
- HashTable和HashMap的区别详解
- slam资料
- 路径与轨迹、路径规划与轨迹规划、路径跟踪与轨迹跟踪
- 7.4 用穷举法计算两个正整数的最小公倍数
- Java课程1: Hello World
- vue下使用select2,绑定数据问题
- Python异常
- 8.1