再论最小二乘

标签（空格分隔）： 机器学习

---

前面有写过一篇关于最小二乘与最大似然估计的博客点我点我，该博客从二者的本质不同进行了分析（一个是为了最好的拟合数据，一个是通过概率分布使时间最可能发生）

本篇博客将从目标函数求驻点及梯度下降的角度比较二者的不同。

最小二乘

目标函数

目标函数实际是从拟合中残差服从高斯分布推导出来的，但实际我们可以直接使用：
J(θ)=12(hθ(x(i))−y(i))2=12(Xθ−y)T(Xθ−y)

解法一：直接求导

这是需要重点分析的，面试中有问到过。
∂J(θ)∂θ=∂12(θTXT−yT)(Xθ−y)∂θ
=∂12(θTXTXθ−θTXTy−yTXθ+yTy)∂θ
=12(2XTXθ−XTy−(yTX)T)=XTXθ−XTy

求驻点，令偏导为0，则θ=(XTX)−1XTy

加入扰动项

防止XTX不可逆或过拟合，增加λ扰动：

θ=(XTX+λI)−1XTy

换个角度看扰动项

一般在求解回归的问题中，为防止过拟合我们会加入一个正则项，常用的正则项有L0-norm, L1-norm, L2-norm.（它们三者之间的区别与联系不作为本篇博客的重点，详细的解释见这篇博客：点我点我）
假设我们使用L2-norm（因为好求导~），则目标函数变为：

J′(θ)=12(hθ(x(i))−y(i))2+λ∑nj=1θ2j
=12(Xθ−y)T(Xθ−y)+λθTθ

然后对这个新的目标函数对θ求偏导，求驻点，得到：

θ=(XTX+λI)−1XTy

与前面直接加入扰动项的做法是完全一致的！！怎么样，有木有很神奇！！（今年校招滴滴的笔试题最后一个简答题就是问这个知识点，后知后觉啊。。）

解法二：梯度下降

• 随机初始化θ；
• 沿着负梯度方向迭代，更新后的θ使得J(θ)更小；
  
  • θj=θj−α∂J(θ)∂θ

梯度方向

∂J(θ)∂θj=∂∂θj12(hθ(x)−y)2
=(hθ(x)−y)∂∂θj(hθ(x)−y)
=(hθ(x)−y)xj