逻辑回归（Logistic Regression）

---

1 步骤

1. Pw,b(C1|x)=fw,b(x)=σ(∑iwixi+b)
2. • L(w,b)=∏i∈C1fw,b(xi)∏i∈C2(1−fw,b(xi))
   • w∗,b∗=argmaxw,bL(w,b)⟺w∗,b∗=argminw,b−lnL(w,b)

   • 约定y=1 for class 1，y=0 for class 2

   • −lnL(w,b)=−(∑i∈C1lnfw,b(xi)+∑i∈C2ln(1−fw,b(xi))=∑i−[yilnf(xi)+(1−yi)ln(1−f(xi))]

   • cross entropy：H(p,q)=−∑ip(x)ln(q(x))

3. • ∂lnfw,b(x)∂wi=∂lnfw,b(x)∂z∂z∂wi=1σ(z)σ(z)∂zxi=(1−σ(z))xi

   • ∂(1−lnfw,b(x))∂wi=∂(1−lnfw,b(x))∂z∂z∂wi=−11−σ(z)σ(z)∂zxi=−σ(z)xi

   • ∂−lnL(w,b)∂wi=∑n−(yn−fw,b(xn))xni
   • wi←wi−η∑n−(yn−fw,b(xn))xni

---

2 Discriminative & Generative

• Logistive Regression属于判别模型
• 对于同样的训练数据，利用判别模型和生成模型得到的函数可能是不同的
• Naive Bayes：P(C1|x)=P(x|C1)P(C1)P(x|C1)P(C1)+P(x|C2)P(C2)
• 在training data很少时，Generative Model更有优势，且鲁棒性更高，可以加入先验信息。

---

3 Multi-class Classification

• 以三分类为例：zi=wix+bi,i=1,2,3
• softmax转换：yi=ezi/∑jezj,i=1,2,3，转换后所有yi均大于0，且∑iyi=1
  

---

4 limitation

• 对于异或问题，logistic regression无法区别。
  
• 解决：Feature Transformation将特征转换至另一个空间维度上
• Cascading logistic regression models：经过很多个逻辑回归转换特征，得到线性可分的特征。

---