极大似然估计解释最小二乘

数据集 D={xi,yi}, 该数据集的样本容量为m。 通过最小二乘法拟合得到

θ∗=argminθ∑i=1m(yi−θTxi)2

极大似然估计： ∀i,yi=θTxi+ϵ, 其中根据中心极限定理，假设 ϵ∼N(0,σ2)

p(ϵ)=12π−−√σexp(−ϵ22σ2)

似然函数

L(θ)=∏i=1mp(yi|xi,θ)=∏i=1m12π−−√σexp(−(yi−θTxi)22σ2)

取对数

l(θ)=∑i=1mlnp(yi|xi,θ)=∑i=1mln12π−−√σexp(−(yi−θTxi)22σ2)=mln12π−−√σ−12σ2∑i=1m(yi−θTxi)2

同时，最小二乘拟合的目标函数：

J(θ)=∑i=1m(yi−θTxi)2

所以

argmaxθ l(θ)=argminθ J(θ)

也就是说，最小二乘法本身已经假设了数据具有高斯噪声。