聚类和EM算法

聚类是一种无监督学习，它通过对无标记训练样本的学习来寻找这些数据的内在性质。

聚类的思想：将数据集划分为若干个不相交的子集（簇），每个簇对应一类，但通常聚类算法不会告诉你这些簇分别代表什么意义，只是这样分成这些不相交的簇。

聚类的作用：

1. 作为一种探索性分析方法，分析数据的内在性质，寻找数据的分布规律
   
2. 作为分类的预处理过程，并不直接数据分析，首先对需要分类的数据进行聚类，然后对聚类出的结果的每个簇上，进行分类，实现数据的预处理

一. 聚类的有效性指标

聚类的有效性指标（Cluster Validity Index，CVI）用来度量聚类的效果。希望相似的样本尽量在同一簇，不相似的样本尽量在不同的簇。

聚类的有效性指标分为两类：1. 外部指标：由聚类结果与某个参考模型进行比较 2.内部指标：直接参考聚类结果，并不利用任何参考模型

二. 距离度量

1. 闵可夫斯基距离

      

      当p =2时，闵可夫斯基距离就是欧式距离

      当p =1时，闵可夫斯基距离就是曼哈顿距离

       

2.VDM距离

三. 原型聚类

   

     原型聚类（prototype-based clustering）是假设聚类结构能通过一组原型进行刻画。常用的原型聚类有：K均值算法KMeans，高斯混合聚类Mixture-of-Gaussian

3.1    K均值算法KMeans

 a . 算法步骤

    这个以后整理

3.2   高斯混合聚类Mixture-of-Gaussian

XXXX. 小结