线性回归和正则化(Regularization)
来源:互联网 发布:淘宝商城女装风衣 编辑:程序博客网 时间:2024/05/22 06:18
1.线性回归介绍
X指训练数据的feature,beta指待估计得参数。
详细见http://zh.wikipedia.org/wiki/%E4%B8%80%E8%88%AC%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B
使用最小二乘法拟合的普通线性回归是数据建模的基本方法。
令最小二乘项的偏导为0(为0时RSS项最小),求Beta估计值,得到最小二乘的向量形式。
最小二乘其实就是找出一组参数beta使得训练数据到拟合出的数据的欧式距离最小。如下图所示,使所有红点(训练数据)到平面的距离之和最小。
图来源(ESL p45)
最小二乘的几何解释:找到一个投影矩阵,使得y到feature矩阵的线性子空间距离最短。如下图所示
在线性模型中,存在过拟合问题(下图右一):
所以针对过拟合问题,通常会考虑两种途径来解决:
a) 减少特征的数量:
-人工的选择保留哪些特征;
-模型选择
b) 正则化
-保留所有的特征,但是降低参数θj的量/值;
3. 在这里我们介绍正则化方法
主要是岭回归(ridge regression)和lasso回归。通过对最小二乘估计加入惩罚约束,使某些系数的估计非常小或为0。
岭回归在最小化RSS的计算里加入了一个收缩惩罚项(正则化的l2范数)
对误差项进行求偏导,令偏导为零得:
Lasso回归
lasso是在RSS最小化的计算中加入一个l1范数作为罚约束:
-
为什么加了惩罚因子就会使得参数变低或零呢?根据拉格朗日乘法算子,这个问题可以转换成一个带约束的求极小值问题。
其收敛示意图如下所示,左是Ridge回归,右是lasso回归。黑点表示最小二乘的收敛中心,蓝色区域是加了乘法项的约束,其交点就是用相应regularization得到的系数在系数空间的表示。
---由xjp整理
- 线性回归和正则化(Regularization)
- 线性回归和逻辑回归的正则化regularization
- 线性回归和逻辑回归正则化
- Regularization线性回归练习
- Tikhonov regularization(L2正则化、岭回归)
- 正则化(regularization)
- 正则化(Regularization)
- 正则化(Regularization)
- 正则化(regularization)
- 正则化(线性回归)
- 斯坦福机器学习视频笔记 Week3 逻辑回归和正则化 Logistic Regression and Regularization
- 深度学习(正则化的线性回归和逻辑回归)
- 线性回归与正则化
- 正则化和模型选择(Regularization and model selection)
- coursera机器学习知识补充(一)——正则化在线性回归和Logistic回归的应用
- 回归问题总结(梯度下降、线性回归、逻辑回归、源码、正则化)
- 7-3 7-4 正则化在线性回归和非线性回归
- 线性代数中的正则化(regularization)(zz)
- Ubuntu 12.04安装Google Chrome
- 百度硬盘和Google桌面的比较
- IIS 您无权查看该网页
- 我的网页模板抓取程序
- 链表的逆置
- 线性回归和正则化(Regularization)
- 三丈红尘,八千里风月
- 大话设计模式之装饰模式
- 轻吻这春日的阳光
- 迷宫算法实现
- cv::CLAHE 使用CLAHE算法例子
- linux下jni调用java代码
- 体验常成员函数
- 7