scikit-learn Linear models
来源:互联网 发布:数据通信与网络第四版 编辑:程序博客网 时间:2024/05/18 11:27
最小二乘法回归
此时假设的是变量间独立,不然会对随机误差超级敏感。
This situation of multicollinearity can arise, for example, when data are collected without an experimental design.
对于自己设计的数据可能不太会出现这个问题(用函数加一点小噪声生成),但对于实际的数据,要考虑多重共线性的问题
岭回归
共线性对模型参数有影响,尤其是高度病态矩阵(变量变化一点会导致输出权重有巨大差异)。设置正则化项可以减少这些噪声的影响。岭回归的正则项为L2范数。当正则化项的系数非常大,则正则化项为主导项,coefficient会趋向于0,当正则化系数接近0时,则岭回归退化成最小二乘法。
岭回归的参数设置
交叉验证可以用RidgeCV
Lasso
Lasso的正则化项为参数的绝对值之和。这样子画出来的限制面积是有棱角的,而最小二乘法画出的参数面积与其的交点铁定在坐标轴上,这就导致了许多参数为0 。由于Lasso回归生成稀疏模型,因此可以用来选取特征。
弹性网络(Elastic Net)
Elastic Net将L1和L2范数都设为正则项。当有多个特征相互关联时,Lasso会随机从中选取一个特征,而Elastic Nec则会选取两个。Elastic Net继承了Ridge回归对旋转的稳定性。
参考
http://scikit-learn.org/stable/modules/linear_model.html
0 0
- scikit-learn Linear models
- scikit-learn Generalized Linear Models 自主学习笔记(一)
- scikit-learn学习笔记(三)Generalized Linear Models ( 广义线性模型 )
- scikit-learn:3.5. Validation curves: plotting scores to evaluate models
- 【机器学习系列】scikit-learn中的Linear Regression Example
- scikit-learn
- scikit-learn
- scikit-learn
- scikit-learn
- scikit-learn
- scikit-learn
- [Scikit-Learn]
- scikit-learn
- scikit-learn
- scikit-learn
- 【译:scikit learn学习】有监督的神经网络模型Neural network models (supervised)
- Extending linear models
- Log-linear Models
- Android引导页的实现
- HDU
- linux练习题5
- A-No response
- PCIe学习笔记(17)--- Power Management (2)
- scikit-learn Linear models
- HDU 2089 不要62
- qt信号signal和槽slot机制
- linux内核简介
- ABCDE五人每句话一半是对的,判断最后排名
- B-简单时间转换
- 整理:卷积的直观理解、物理意义与本质(一)
- 【GitHub】利用Github建立你的个人网站
- SQL数据库入门基础