第四章 生成学习算法

到目前为止，我们讨论的学习算法都是以$p(y \mid x;\theta)$为模型 ，即给定x以后y的 条件分布。接下来讨论一个不同类型的学习算法。

举个例子：有一个分类问题，基于动物得而一些特征分辨它是大象(y=1)还是狗(y=0)。对于逻辑回归算法或感知算法会找出一条直线作为判别边界。这里提出一个新的方法：分别建立一个大象特征的模型和狗特征的模型、对于一个新的动物，使之与大象模型和狗的模型分别匹配，以此判断该新的动物与哪个更匹配。

 

判别学习算法

直接学习$p(y \mid x)$或学习输入空间X到标签{0,1}的映射

生成学习算法

以$p(x \mid y)$为模型

比如，y表示样本是大象(1)还是狗(0)，则$p(x \mid y=0)$表示狗特征的分布模型。

建立$p(y)$(类的先验)和$p(x \mid y)$，使用贝叶斯准则推导出给定x以后y的分布：

$p(y \mid x) = \frac {p(x \mid y)p(y)}{p(x)}$

这里的分母可由$p(x)=p(x \mid y=1)p(y=1)+p(x \mid y=0)p(y=0)$得到。然后以我们学习得到的$p(x \mid y)$和$p(y)$来表示

实际上，计算$p(y \mid x)$时，我们并不需要计算分母，因为：

$arg~~\underset{y}{max} p(y \mid x)= arg~~\underset{y}{max}\frac{p(x \mid y)p(y)}{p(y)}$

$arg~~\underset{y}{max} p(y \mid x)= arg~~\underset{y}{max}p(x \mid y)p(y)$

 

高斯判决分析（GDA）

多维正太分布

u为均值向量，$u \in R^{n}$，协方差矩阵$\Sigma \in R^{n \times n}$，

概率密度函数：

$p(x;u,\Sigma) = \frac{1}{(2\pi)^{n/2}\left | \Sigma \right |}exp(-\frac{1}{2}(x-u)^{T}\Sigma^{-1}(x-u))$

上式的$\left | \Sigma \right |$表示矩阵的行列式

随机变量Z的协方差表示为：$Cov(Z)=E[(Z-E[Z])(Z-E[Z])^{T}]=E[ZZ^{T}]-(E[Z])(E[Z])^{T}$

这里$X~N(u,\Sigma)$，则：

$Cov(X) = \Sigma$

以下分别为$\Sigma=I,\Sigma=0.6I,\Sigma=2I$时的分布图，均值为2X1的零向量：

以下分别表示其它不同$\Sigma$时的分布：

以上最左边的图为标准正态分布，后面添加对角线元素后，概率密度被沿着45度线压缩，为了更清楚，显示如下：

对角线添加负值时：

固定协方差矩阵为I，改变u，观察概率密度分布：

高斯判别分析模型（GDA）

当分类问题中，x是连续的随机变量，则可以使用该模型，$p(x \mid y)$使用多维正态分布。模型如下：

$y ~ Bernoulli(\phi)$

$x \mid y = 0 ~N(u_{0},\Sigma)$

$x \mid y = 1 ~N(u_{1},\Sigma)$

$p(y)=\phi^{y}(1-\phi)^{1-y}$

$p(x \mid y=0) =  \frac{1}{(2\pi)^{n/2}\left | \Sigma \right |}exp(-\frac{1}{2}(x-u_{0})^{T}\Sigma^{-1}(x-u_{0}))$

$p(x \mid y=1) =  \frac{1}{(2\pi)^{n/2}\left | \Sigma \right |}exp(-\frac{1}{2}(x-u_{1})^{T}\Sigma^{-1}(x-u_{1}))$

这里模型参数为$\phi,\Sigma,u_{0},u_{1}$，$u_{0},u_{1}$是不同的均值向量。

对数似然函数：

$\iota (\phi,u_{0},u_{1},\Sigma) = log \prod_{i=1}^{m}p(x^{(i)},y^{(i)};\phi,u_{0},u_{1},,\Sigma)$

$\iota (\phi,u_{0},u_{1},\Sigma) = log \prod_{i=1}^{m} p(x^{(i)}\mid y^{(i)};u_{0},u_{1},\Sigma)p(y^{(i)};\phi)$

得到参数的最大似然估计：

得到两组高斯分布：

如上，两组高斯分布拥有相同的形状和方向，因为他们拥有共同的协方差矩阵。但他们的均值$u_{0},u_{1}$不同。

朴素贝叶斯

在GDA模型中，特征向量x是连续的，接下来讨论离散的情况。

比如，训练一组标志为垃圾和非垃圾的邮件。我们通过一个长度为字典的单词数的特征向量来表示一封邮件。当邮件含有第i个单词时，设$x_{i}=1$，否则$x_{i}=0$。

 

为了计算方便，我们假设当给定y（一封邮件）后，$x_{i}$是条件独立的。即有：

$p(x_{1},...,x_{5000} \mid y) = \prod_{i=1}^{n}p(x_{i} \mid y)$

这种假设称为朴素贝叶斯假设，对应算法称为朴素贝叶斯分类器。

模型参数为：$\phi_{i \mid y=1}=p(x_{i}=1 \mid y=1),\phi_{i \mid y=0}=p(x_{i}=1 \mid y=0),\phi_{y}=p(y=1)$。对于给定的训练集，${(x^{(i)},y^{(i)});i=1,2,...,m}$，则联合似然函数：

根据$\phi_{y},\phi_{i \mid y=0},\phi_{i \mid y=1}$：

等式中的$\wedge $表示“与”。

预测：

最后，我们注意到贝叶斯算法主要是针对特征$x_{i}$是二值情形，容易得到一般情形$x_{i}$取${1,2,...,k_{i}}$。这里，我们的模型$p(x_{i} \mid y)$是多项式，而不是伯努利。当输入是连续数值时，一般需要将其离散化。比如以下住房面积：

拉普拉斯平滑

比如，在文本分类的例子中，你需要判别邮件的类型。当训练集不含单词“nips”，而当前需要分类的邮件含有这个词，并且假设该词处在字典的第35000的位置。则贝叶斯模型计算最大似然估计如下：

因为之前从没有出现过“nips”，因此类的后验概率为：

参数化多项式：$\phi_{i}= p(z=i)$。给定一组具有m个独立观察值的数据${z^{(1)},...,z^{(m)}}$，最大似然估计如下表示：

如前面所述，这种最大似然估计会出现某些$\phi_{j}$为0的情况。为了避免这个情况，我们使用拉普拉斯平滑，最大似然估计表示如下：

其中，$\sum_{j=1}^{k}\phi_{j}=1$依然成立。

因此对于前面的估计，表达如下：