【逻辑回归笔记】牛顿法

• 【问题描述】上节课内容是逻辑回归，计算θ有更好的方法，比如牛顿法，它比梯度上升算法快很多。
• 【方法】
  -
  求找到一个θ，使得f(θ)=0.
  
  f′(θ(0))=f(θ(0))Δ
  
  
  Δ=f(θ(0))f′(θ(0))
  
  
  θ(1)=θ(0)−Δ=θ(0)−f(θ(0))f′(θ(0))
  
  SO,
  
  θ(t+1)=θ(t)−Δ=θ(t)−f(θ(t))f′(θ(t))
  
  那么，这和逻辑回归中ℓ(θ)最大有什么关系吗？
  明显的，当若ℓ(θ)tomax,则ℓ′(θ)=0,这样就回到了牛顿法中，上式就变为
  
  θ(t+1)=θ(t)−Δ=θ(t)−ℓ′(θ(t))ℓ′′(θ(t))
  
  牛顿法收敛很快，即“二次收敛”，误差平方位收敛。
  
  0.01 error—>0.001 error
  
  这样的结果会在足够近时体现。
  但是，现在还有两个问题：
  极大极小问题θ(t+1)会出现怎样的变化呢？
  
  可以动手计算一下，求值公式是一模一样的。
  机器学习来源是Learn Machine By Andrew Ng From Stanford