最大似然估计解决线性回归

来源:互联网 发布:directx 9.0修复软件 编辑:程序博客网 时间:2024/05/21 05:19

本文章纯属个人学习笔记。
我们得到一堆数据(xi,yi),现在要用线性方程的形式去做回归,线性方程结构为:y=f(x)+e,其中f(x)=w*x,w是我们要进行估计的参数向量,e是噪声,且该噪声服从均值为0高斯分布,即:e~N(0,sigema^2)。
假如说现在有一个w(此w并不是最终的w),对于每一个实际得到的数据我们都可以看成是由均值为w*xi,方差为sigema^2的一个高斯模型生成的。但是在w不定的情况下,高斯模型有无数中可能,我们需要从中选择一个我们想要的,而选择需要一个准则,该准则就是:使得在该模型下生成我们获得的数据的可能性最大。
问题来了,什么叫可能性最大?怎样来衡量?——>将每一个数据产生的概率连乘起来(似然函数),将该值最为总的数据产生的可能性。很容易理解。
所以有一下计算:
这里写图片描述
从最终结果可以看出最大似然估计与最小二乘法解决线性回归问题殊途同归,可以将最小二乘看成是最大似然估计的一个特殊情况

0 0
原创粉丝点击