EM算法小结

先总结几篇经典的，以后再慢慢补充

Rachel有两篇，一篇概述的，一篇具体的（结合GMM）。
聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut
GMM的EM算法实现

公式符号不一样，但是完全一致的。在通用文章中，行文是说样本数是N，公式中用的是M。
通用文章实际是借用下面文章的公式：
The EM Algorithm by Jerry Lead

GMM的高斯公式很清楚，字体也选的好看

另外有个经典文章，我看了不下20遍。
A Gentle Tutorial of the EM Algorithm and its Application to Parameter. Estimation for Gaussian Mixture and. Hidden Markov Models
对混合模型，先推导了一般混合模型的情况，不大看得懂；然后再假设是高斯分布，又是一通头晕眼花的推导。当然最后的结果都是一致的。注意这篇文章中样本数为N，混合模型数目为M，每个模型的序号用 l 表示，而不是一般的 k
注意最后给出公式说E/M步骤同时进行了，其实也可以分开，因为首先怎么都要计算Q的分布，也就是在估计 p(l|xi,Θg) 的时候，就是E-Step了