线性最小二乘法
来源:互联网 发布:it 网络管理系统 价格 编辑:程序博客网 时间:2024/06/05 19:26
前言
普通最小二乘法(ordinary least squares, OLS)是线性回归预测问题中一个很重要的概念,在 Introductory Econometrics A Modern Approach (Fourth Edition) 第2章 简单回归模型 中,花了很详细的篇幅对此作出介绍。应聘数据挖掘岗位,就有考到对普通最小二乘法的推导证明。最小二乘法十分有用,例如可以用来做推荐系统、资金流动预测等。
推导证明
(1) 公式推导
(2) 求和性质
求和性质,具体可以参考Introductory Econometrics A Modern Approach (Fourth Edition) 一书(计量经济学导论,第4版,杰弗里·M·伍德里奇 著)的附录A。
(3) 一般形式
有了上述推导证明,普通最小二乘法一般形式可以写成(字母盖小帽表示估计值,具体参考应用概率统计):
重要概念
接下来简单地介绍几个重要概念,并在下一章节给出最小二乘法的无偏估计。
记第i 次观测残差(residual)是yi 的实际值与其拟合值之差:
其中SST=SSE+SSR。
拟合优度,有时又称“判定系数”,回归的R2(R-squared),用来判断直线拟合效果:
当R2 = 1时称为完美拟合,当R2 = 1时称为糟糕拟合,最理想的观测是,第i 次情况 残差u=0。
事实上,R2不因y 或x 的单位变化而变化。
零条件均值,指给定解释变量的任何值,误差的期望值为零。换言之,即 E(u|x)=0。
无偏估计
我们追求零条件均值,得到OLS 估计量的无偏估计:
其中,
现在我们可以看到,β1 的估计量等于总体斜率β1 加上误差 { u1, u2, ..., un }的一个线性组合。
“线性”含义
线性回归问题中,“线性”的含义是指被估计参数β1 和β2 是线性相关的,而不关心解释变量与被解释变量以何种形式出现,例如y = kx + b,log(y) = kx + b,log(y) = klog(x) + b,etc. 下面列举一些常用的曲线方程:
1、双曲线 1/y = a + b/x
令y'=1/y,x'=1/x,则有y'=a+bx'
2、幂函数曲线y=axb
令y'=lny,x'=lnx,a'=lna,则有y'=a' +bx'
3、指数函数曲线y=aebx
令y'=lny,x'=x,a'=a,则有y'=a'+b x'
4、负指数函数曲线y=aeb/x(同上)
5、对数函数y=a+blnx
令y'=y,x'=lnx,则有y'=a+bx'
6、S型(Logistic,逻辑斯蒂回归)曲线y=K/(1+Ae-λx)
令y'=ln((K-y)/y),a=lnA,则有y'=a-λx
多重线性回归
多重回归研究的是变量y 与可控变量x1,x2,...,xk 之间的线性关系,假设
根据线性代数,则有
得到
与普通最小二乘法推导证明相似,可以得到β 的最小二乘估计
以上部分摘自:http://my.oschina.net/keyven/blog/526010
以下推导部分摘自:http://blog.csdn.net/u012176591/article/details/36930727
推导过程:
条件:矩阵必须是列满秩矩阵,否则的逆就不会存在。
若A为m×n的矩阵,b为m×1的矩阵,则Ax=b表达了一个线性方程组,它的normal equation的形式为ATAx=ATb。
当Ax=b有解时(即矩阵[A|b]的秩与A的秩相同),Ax=b与ATAx=ATb的解集是一样。
而当Ax=b无解时,ATAx=ATb仍然有解,其解集即最小二乘解(least squares solution),即使得(Ax-b)T(Ax-b)的值最小的解,可以理解为使方程组Ax=b近似成立且误差最小的解。
- 线性最小二乘法
- 线性最小二乘法
- 线性拟合(最小二乘法)
- 一般线性最小二乘法
- 最小二乘法解线性拟合
- 线性回归-3-最小二乘法
- 线性回归 -- 最小二乘法
- 最小二乘法的线性拟合
- 线性回归--最小二乘法笔记
- 线性回归之最小二乘法
- 一般线性最小二乘法
- 线性回归,最小二乘法
- 最小二乘法线性拟合
- 线性回归:最小二乘法
- 线性回归----最小二乘法
- 线性回归 最小二乘法 方差
- 最小二乘法线性拟合计算器
- 利用最小二乘法进行线性拟合
- 制作initrd(6):重做Ubuntu安装盘
- MatLab基础
- iOS 创建单例的两种方法
- fcntl函数详解
- Leetcode旅途三
- 线性最小二乘法
- Missing iOS Distribution signing identity for ...
- 51nod 1443 路径和树
- Maven简明教程(2)---eclipse集成
- CC2650之SensorTag 演示
- [matlab]中logical类型
- ICPCCamp 2016 Day 8 - Makoto Soejima's Contest #4(String Modification-模拟)
- C语言 int &a
- 51单片机系列知识10--串行通信(1)