机器学习笔记_回归_2: 最小二乘问题

线性回归求解最小二乘

• 解析解

12∑i=1m(hθxi−yi)2=12(Xθ−y⃗ )T(Xθ−y⃗ )=J(θ)

=> ▽θJ(θ)=(XTX)−1XTy （XTX可逆）

=> XTX不可逆，则θ=(XTX+λI)−1XTy

---

• 计算数值解(迭代下降法)

J(θ)=12∑i=1m(hθ(x(i))−y(i))2

• step1 初始化θ

  step2 θj:=θj−α∂∂θjJ(θ)
  α:学习率

• 梯度方向：

  ∂∂θjJ(θ)=∂∂θj12(hθ(x)−y)2=(hθ(x)−y)xj

---

• 批梯度下降

Repeat until convergence
{
θj:=θj+α∑i=1m(yi−hθ(xi))x(i)j
//for every j
}

---

• 随机梯度下降

  Loop {

  for i=1 to m
  {
  θj:=θj+α(yi−hθ(xi))x(i)j
  //for every j
  }

• 随机下降解释: 期望收敛

• 可以证明在一定条件下，这样得到的序列 f(w0),f(w1),⋯中的最小值依期望收敛到f(w∗)

• mini-batch (随机梯度，拿到一个就改变，批梯度，按所有改变，mini-batch，拿一部分就改变)

参考博客：http://www.cnblogs.com/murongxixi/p/3467365.html

---