机器学习--逻辑回归

机器学习–逻辑回归

如有错误或者疑问，欢迎交流，转载请注明出处

定义

逻辑回归(logistic regression)是分类算法

• sigmoid函数
  g(z)=11+e−z

  g′(z)===1(1+e−z)2e−z11+e−z(1−11+e−z)g(z)(1−g(z))

• 假设函数hypotheses
  h(x)=g(θTx)=11+e−θTx

  认为h(x)代表其为正例的概率

  p(y|x;θ)=h(x)y(1−h(x))1−y

• 目标函数
  转换成概率之后，一般使用最大似然的方法，概率相乘，m是训练样本数目

  L(θ)=∏mi=1h(xi)yi(1−h(xi))1−yi

  loglike hood:
  l(θ)=∑mi=1yilogh(xi)+(1−yi)log(1−h(xi))

  目标就是最大化loglike hood函数

优化目标函数

• 梯度上升
  以一个样本为例
  ∂l(θj)/∂θj====(y1h(x)−(1−y)11−h(x))∂∂θjh(x)(y1h(x)−(1−y)11−h(x)))h(x)(1−h(x))∂∂θjθTx(y(1−h(x))−(1−y)h(x))xj(y−h(x))xj

  θj:=θj+α(y−h(x)xj)

  batch gradient ascent

  θj:=θj+∑mi=1α(yi−h(x(i)))x(i)j

• 牛顿法

  首先f(x+Δx)=f(x)+f′(x)Δx+f′′(x)Δx2

  利用极值点的必要条件Δf(x)=0

  得到xn+1=xn−f′(xn)f′′(xn)

  =====================================
  用在逻辑回归的目标函数中

  θ:=θ+H−1Δ (注意这里是梯度上升)

  Δi=∂∂θil(θ)

  Hij=∂∂θi∂θjl(θ)