机器学习第三章复习（4）

本文用于复习《Machine Learning》第三章部分内容

内容来自于Andrew Ng的机器学习课程，主要是为了回忆起来方便

第三章最后部分主要讲解了如何解决欠拟合过拟合

注：博客中图片均来自于课程

---

• underfit & overfit

• underfit解决方法
  underfit也叫“high bias”，可能是特征量太少引起了欠拟合。
  解决办法：
  1.可以增加特征；
  2.调整特征的幂次（mapfeatures），即是说如果只有两个特征x1，x2，利用mapfeatures可以把他们扩展成x21,x1x2,x22诸如此类。

• overfit解决方法
  overfit也叫“high variance”，可能是特征量太多引起了过拟合。
  解决办法：
  1.手动选择一些比较重要的特征量；
  2.仍然运用所有特征量，但是调整特征量对应的θj,改变不同特征值对预测函数的影响。

举例

例如右图所示θ0+θ1x+θ2x2+θ3x3+θ4x4
此时，想办法使得θ3、θ4值接近于0，那么
θ0+θ1x+θ2x2+θ3x3+θ4x4就会接近于θ0+θ1x+θ2x2
也就是中间的那张图

• regularization
  如何实现使得θ3、θ4值接近于0呢？
  利用正则化
  
  J(θ)=12m∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθ2j
  
  把θj放到代价方程里面，就可以把θj适当缩小
  Gradient descent如下：
  
  θ0:=θ0−α∂∂θ0J(θ)
  
  
  θj:=θj−α[∂∂θjJ(θ)+λmθj]
  
  
  ∂∂θjJ(θ)=1m∑i=1m(hθ(x(i))−y(i))x(i)j
  
  Normal Equation如下
  
  θ=（XTX+λ⎛⎝⎜⎜⎜⎜⎜0000001...000...1...000...1000001⎞⎠⎟⎟⎟⎟⎟）−1XTy
  
  同时由于加上了
  
  ⎛⎝⎜⎜⎜⎜⎜0000001...000...1...000...1000001⎞⎠⎟⎟⎟⎟⎟
  
  m小于n时可能遇到的矩阵不可逆的问题也得到了解决