机器学习 cs229学习笔记3 (EM alogrithm,Mixture of Gaussians revisited & Factor analysis )

(all is based on the stanford's open-course cs229 lecture 13)

接上次笔记 机器学习 cs229学习笔记2 (k-means,EM & Mixture of Gaussians)

如何确定EM算法converge呢？

当然是比较前后两次迭代的似然函数的大小，如果相差极小，则可以证明算法已经converge了

假设一次迭代开始时的参数是θ(t)，迭代结束时的参数是θ(t+1)

因为我们之前对于Qi的选择保证了Jensen不等式的等号成立，所以对于θ(t)的似然函数就是

而θ(t+1)的似然函数则大于上式，原因很简单，因为θ(t+1)的取值是通过下图得到的

上面说明了EM算法是converge的

说实话：我感觉EM算法就是一种最大化似然函数的一个方法，因为原似然函数可能很难通过计算求出来

             而EM取巧了，通过Jensen不等式，每次通过最大化一个下界，一次次逼近最大值。而这个下界往往很好求得。

      也不知道对不对，还请知道的指教一下

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

Mixture Gaussians revisted：

这部分不想讲太多，其实就是反过去用EM算法的通式去推导出之前那个EM算法的特例

大家可以去看看note，需要的话就去看看note，讲得还是很详细的

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

这节课的视频其实很大一部分用来讲了EM算法的一些应用的推导，比如文本分类之类的

过程大体相似，下来之后我还是得自己思考着试图推一下，这里就不写太多了

然后讲到的就是Factor analysis，这是这节课的主要内容了

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

Factor analysis：

引入：

我们在执行EM formixture of gaussians的时候，绝大多数情况下样例数一定会比数据的维度大，即sample m >> dimension n

但是如果这个条件不满足的话(这是有可能的，比如文本分类的时候)

这时就会出现异常情况，如果n >> m，那么混合高斯函数的协方差矩阵∑就会变成奇异矩阵(singular),那么∑的逆矩阵就不存在

也就是说(1/|∑|^)(1/2)就会变成1/0，而这些都是计算时需要的

那么可以想到的方法之一就是对∑进行严格要求

1.严格要求∑为对角矩阵

  这样multivariate gaussian的分布图像的等高线就会是一个圆形（二维中，如果是更高维则是高维中的sphere）

这样就会使算法失去一些有用的特性，同样也会出现一些参数上的方差为0而形成奇异矩阵

2.使∑为单位矩阵的倍数，倍数为所有样例的所有参数的方差之和

也就是在1的基础上进行更严格的要求，谨防一些参数上的方差为0而形成奇异矩阵

越严格要求∑，算法就会越死板，因而我们需要Factor analysis

在此之前先介绍一下多元高斯函数的边缘概率和条件概率

多元高斯函数的边缘概率和条件概率(待自证)

这里就直接给出一些公式了，因为我自己还没有推出来，andrew ng也是直接给的公式，等我看看再来补充这里吧（数学方面的确薄弱了些，准备加强）

                             

                 

其中,,x2类推

并且：

等我自己看懂再回来给出推导过程吧。。。。。。。。。。。。。（证明见此）

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

Factor analysis：

正文：factor analysis model 到底是啥呢

其实就是用更多的参数来捕获(capture)数据中间的关联关系，通过这些与普通混合高斯不同的参数来使协方差矩阵不至于奇异

那么首先给出下面推导需要的一些定义：

注意前两个式子 等价于 后面三个式子

其中z是隐含变量(latent variable)其实就是之前的y，也就是之前的Qi或者说w。

z是一个k维向量，k是混合高斯的个数(这里有问题，待修改)，μ是一个n维向量，∧是一个n*k的矩阵,Ψ是一个n*n的对角矩阵

这个过程就是怎么弄的呢：1.想象x是由z生成的，将x映射到k维的仿射(affine)空间

2.加上ε的noise

也就是说将k维中z上的点映射到n维的空间中，而我们得到的数据x是n维的，所以如果得到了数据，则可以用这样一个model来fit数据

下面是一个实例：其中黄色的点就是我们得到的数据，而黑色的圆圈就是加上的noisy

factor analysis model就是给出黄色的点后我们试图去得到一个黑色的model，注意μ=0

给出这些定义之后，我们就可以得到：

通过上面多远高斯函数的式子，一层层计算就可以将上式演化成：(这部分推导很简单，就是将上面那个cov(x)的各项计算出来，因为其中的每个部分给的比较清楚，所以这部分略过了)

那么这样一个混合高斯的log似然函数就可以根据高斯函数的定义得到

显而易见，这货不好最大化，怎么最大化呢，当然是EM算法啦，这部分会在下节课中讲到。that's all

呼~~累死