线性回归多重共线性优化
来源:互联网 发布:windows服务器监控 编辑:程序博客网 时间:2024/06/05 03:45
问题引入
之前分析了线性回归问题的解法,最小二乘回归法,但是对于大多数的实际问题,由于我们要用有限的观测值去估计模型的分布,比如在之前讲线性回归中的例子,给出的样例有100对,而我们建立的模型是一条直线,我们都知道两点确定一条直线,这里有100个点,这种称作过度确定估计,同时很多样例由于各种原因本身存在误差,另一个方面是特征之间相关性很大,说白了就是两个特征之间存在关系,本身可以用一个变量来表示,这样既简化了模型,同时减少特征意味着减小误差,我们现在在线性回归中去想办法优化这个问题。
多重共线性:是指多变量线性回归中,变量之间由于存在高度相关关系而使回归估计不准确。比如虚拟变量陷阱即有可能触发多重共线性问题。
如果样本存在很大误差,那么我们估计到的结果
LASSO回归
LASSO回归的思路是既然会导致
同时在这一项中给一个系数k,就能够调节它的影响,k值越大,则
然后如果某个特征参数导致岭迹波动很大,说明这个变量参数有共线性,我们可以考虑剔除这个变量
步骤
1. 对数据做标准化,从而方便以后对
2.构建惩罚函数,对不同的k,画出轨迹图
3. 根据轨迹图,选择剔除掉哪些变量。
目标函数
我们通过不断增大惩罚系数k,然后看看它的参数各个
上面右图是LASSO回归图像,可以看到从右到左随着k值的增大,很多
为什么出现0的就是导致共线性的变量呢?
看看上面这个图,假设现在是一个两个参数的直线模型,有两个参数
其实除了常用LASSO回归之外,还有一个岭回归,差别在于约束条件是
总结
岭回归(Ridge回归)能够优化点是通过调整惩罚系数
而LASSO回归通过调整惩罚系数观察结果
目前最好拟合广义线性模型的是glmnet,是LASSO回归的发明人开发的,它通过一系列不同的惩罚系数
当然这些优化都可以用在逻辑回归上,逻辑回归只是在线性回归的模型上套了一个logit函数,数据本身误差和共线性的问题同样存在。
- 线性回归多重共线性优化
- 回归分析----多重共线性【基础】
- 回归分析中的多重共线性问题
- 处理多重共线性
- 多重共线性
- 多元线性回归模型中多重共线性问题处理方法
- 机器学习线性回归:谈谈多重共线性问题及相关算法
- 多重共线性的解决方法
- 【读书笔记】数据出现多重共线性情况:岭回归,lasso回归,适应性lasso回归,偏最小二乘回归
- 多重共线性的解决方法之——岭回归与LASSO
- 多重共线性的解决方法之——岭回归与LASSO
- 另眼看待变量间多重共线性
- 另眼看待变量间多重共线性
- R语言 检验多重共线性
- 多重共线性与虚拟变量
- 线性回归介绍之九——多重线性回归
- R判断逻辑回归参数共线性
- 机器学习(4)——回归算法:最小二乘法(无偏估计VS多重共线性问题)
- gnuplot画出不同的类
- javascript常见语句总结
- C语言 快速排序函数
- 使用gradle创建Akka项目
- hdu6197最长增长序列 二分法
- 线性回归多重共线性优化
- 作业3
- Android-Fragment源码解析
- ERROR : arm-linux-ld:u-boot.lds:1: ignoring invalid character `#' in expression
- 内存拷贝和对齐读取
- 选苹果
- springboot中使用actuator进行监控
- iOS之人工智能理解
- 几种常用Gradient descent optimization算法详解