K均值聚类算法及MATLAB函数使用

K-means算法是最简单的一种聚类算法。算法的目的是使各个样本与所在类均值的误差平方和达到最小（这也是评价K-means算法最后聚类效果的评价标准）

关于K-means/K-means+的Python实例可以点击这里K-means实例

K-means聚类算法的一般步骤：

1. 初始化。输入基因表达矩阵作为对象集X，输入指定聚类类数N，并在X中随机选取N个对象作为初始聚类中心。设定迭代中止条件，比如最大循环次数或者聚类中心收敛误差容限。
2. 进行迭代。根据相似度准则将数据对象分配到最接近的聚类中心，从而形成一类。初始化隶属度矩阵。
3. 更新聚类中心。然后以每一类的平均向量作为新的聚类中心，重新分配数据对象。
4. 反复执行第二步和第三步直至满足中止条件。

举一个简单的例子来说明问题：

设有一组数据集x1=(2,1),x2=(1,3),x3=(6,7),x4=(4,7)

(1)选取聚类中心，该中心可以任意选取，也可以通过直方图进行选取，还可以通过取前2个值进行选取。我们选择两个聚类中心。

(2)计算每一个样本值到聚类中心的距离；并划分新的聚类中心；

(3)根据评价指标不断迭代，直到达到极小值

 评价标准：

假设有M个数据源，C个聚类中心。µc为聚类中心。该公式的意思也就是将每个类中的数据与每个聚类中心做差的平方和，J最小，意味着分割的效果最好。

MATLAB函数Kmeans

使用方法：
Idx=Kmeans(X,K)
[Idx,C]=Kmeans(X,K)
[Idx,C,sumD]=Kmeans(X,K)
[Idx,C,sumD,D]=Kmeans(X,K)
[…]=Kmeans(…,’Param1’,Val1,’Param2’,Val2,…)

各输入输出参数介绍：

X: N*P的数据矩阵，N为数据个数，P为单个数据维度
K: 表示将X划分为几类，为整数
Idx: N*1的向量，存储的是每个点的聚类标号
C: K*P的矩阵，存储的是K个聚类质心位置
sumD: 1*K的和向量，存储的是类间所有点与该类质心点距离之和
D: N*K的矩阵，存储的是每个点与所有质心的距离

[…]=Kmeans(…,'Param1',Val1,'Param2',Val2,…)
这其中的参数Param1、Param2等，主要可以设置为如下：

1. ‘Distance’(距离测度)
‘sqEuclidean’ 欧式距离（默认时，采用此距离方式）
‘cityblock’ 绝度误差和，又称：L1
‘cosine’ 针对向量
‘correlation’  针对有时序关系的值
‘Hamming’ 只针对二进制数据

2. ‘Start’（初始质心位置选择方法）
‘sample’ 从X中随机选取K个质心点
‘uniform’ 根据X的分布范围均匀的随机生成K个质心
‘cluster’ 初始聚类阶段随机选择10%的X的子样本（此方法初始使用’sample’方法）
matrix 提供一K*P的矩阵，作为初始质心位置集合

3. ‘Replicates’（聚类重复次数）  整数
                  
使用案例：

data=
5.0 3.5 1.3 0.3 -1
5.5 2.6 4.4 1.2 0
6.7 3.1 5.6 2.4 1
5.0 3.3 1.4 0.2 -1
5.9 3.0 5.1 1.8 1
5.8 2.6 4.0 1.2 0

[Idx,C,sumD,D]=Kmeans(data,3,'dist','sqEuclidean','rep',4)

运行结果：
Idx =
     1
     2
     3
     1
     3
     2

C =
    5.0000    3.4000    1.3500    0.2500   -1.0000
    5.6500    2.6000    4.2000    1.2000         0
6.3000    3.0500    5.3500    2.1000    1.0000

sumD =
    0.0300
    0.1250
    0.6300

D =
    0.0150   11.4525   25.5350
   12.0950    0.0625    3.5550
   29.6650    5.7525    0.3150
    0.0150   10.7525   24.9650
   21.4350    2.3925    0.3150
   10.2050    0.0625    4.0850