分类（Classification）：Probability Generative Model

---

1 Introduction

• 一些应用：Credit Scoring、Medical Diagnosis、Handwritten character recognition
• E.g. Pokemon Type Symbols
• Training data：D={(xi,yi)}，以二分类（binary classification）为例
  
  • f(x)>0：输出正类；f(x)<0：输出负类
  • L(f)=∑iI(f(xi)≠yi)
  • Example：Perceptron，SVM

---

2 Generative Model

• P(C1|x)=P(x|C1)P(C1)P(x|C1)P(C1)+P(x|C2)P(C2)

• 生成模型Generative Model：P(x)=P(x|C1)P(C1)+P(x|C2)P(C2)
  1 生成模型训练时优化训练数据的联合概率分布
  2 将观察序列作为模型的一部分
  3 训练复杂度较低
  4 支持无监督训练
  5 discriminative model判别模型估计条件概率分布，而生成模型估计联合概率分布
  6 由生成模型可以得到判别模型，但是不能由判别模型得到生成模型

    生成算法尝试去找到底这个数据是怎么生成的（产生的），然后再对一个信号进行分类。基于你的生成假设，那么那个类别最有可能产生这个信号，这个信号就属于那个类别。判别模型不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。

---

3 Maximum Likelihood

• Gaussian Distribution：fμ,∑(x)=1(2π)D/21|∑|1/2exp{−12(x−μ)T∑−1(x−μ)}，其中μ是均值，∑是协方差矩阵covariance matrix
• 极大似然估计：L(μ,∑)=∏ifμ,∑(xi)
• (μ∗,∑∗)=argminμ,∑L(μ,∑)
• 解法：微分之后求解，(μ∗,∑∗)=(1N∑Nixi,1N∑Ni(xi−μ∗)(xi−μ∗)T)

---

4 Probability Distribution

• ⎡⎣⎢⎢⎢x1x2...xk⎤⎦⎥⎥⎥←P(x|C1)=P(x1|C1)P(x2|C1)…P(xk|C1)
• Posterior Probability 后验概率：P(C1|x)=11+exp(−z)=σ(z)，其中z=lnP(x|C1)P(C1)P(x|C2)P(C2)，σ(z)为sigmoid函数
• z=(μ1−μ2)T∑−1x−12(μ1)T(∑)−1μ1+12(μ2)T(∑)−1μ2+lnN1N2=wT+b，假设∑1=∑2=∑
• P(C1|x)=σ(w⋅x+b)

---