利用互信息比较不同的聚类结果

互信息（mutual information）和信息熵（information entropy）一样都是信息论里面的概念。信息熵在决策树里面用的比较多，可以度量样本集合的纯度。而互信息在聚类中有很大的作用，它可以衡量对同一个数据集不同的划分的之间的相似程度。

假设Pa，Pb表示数据集X上的两个不同的划分，X包括n的样本。

Pa包含ka个簇，Pa= {Ca1,Ca2,⋯,Caka}。

Pb包含kb个簇，Pb= {Cb1,Cb2,⋯,Cbkb}。

nabij表示Cai和Cbj中相同样本的个数。

nai表示Cai中样本的个数，nbj表示Cbj中样本的个数。

Pa，Pb的互信息为I(Pa，Pb):

I(Pa，Pb)=∑i=1ka∑j=1kbnabijnlog(nabijnnain∗nbjn)

接下来还要对I(Pa，Pb)进行标准化，使I(Pa，Pb)的值域为[0,1]
标准化的互信息用NMI表示：

NMI(Pa,Pb)=I(Pa,Pb)H(Pa)∗H(Pb)−−−−−−−−−−−−√

其中H(Pa),H(Pb)分别表示Pa,Pb的信息熵
NMI(Pa,Pb)的值介于0到1之间，当划分Pa,Pb只有很小的差别时，NMI(Pa,Pb)趋近于1，反之趋近于0。

如果我们通过先验信息，知道了真正的划分P∗，那么就可以用NMI(Pa，P∗)来检验划分Pa是否合理。