用R语言DIY机器学习算法--Kmeans

聚类是一种无监督的机器学习算法。在聚类算法中，输入的数据通常没有预先定义好类别（无标签），需要根据一定的规则计算每个之间的相似度，将相似度高的对象归入到同一个簇（cluster）中，相似度低的对象归入到不同簇中，这样组成的一个个的簇就是数据最可能的分类标准。因此聚类算法一般应用于无标签的数据分类中。

Kmeans算法是一种最基本的聚类算法，是一种自动发现给定数据集的k个簇的算法。k是事先给定的，即想要聚合成的簇个数，每一个簇通过其质心（centroid），即簇中所有点的中心来描述。

Kmeans算法的流程：

1. 随机确定k个初始点作为质心。

2. 计算每个点到k个质心的距离，并将其分配给距离最近的质心所对应的簇。

3. 每个簇重新计算质心。

4. 重复2/3步骤直至质心不在变化为止。

在R语言中，利用Kmeans函数能够实现该算法，这里不再赘述，本文的主要目的是通过自己编写代码来完成Kmeans算法的逻辑过程。参考了《机器学习实战》一书中的python代码。具体代码如下：

首先定义一个距离的计算公式，用于计算各样本点的距离。这里选择了欧式距离。

##计算欧式距离eucDistance <- function(data1,data2){  dis <- sqrt(sum((data1-data2)^2))  return(dis)}

然后定义一个初始化质心的方法。初始的质心随机地从样本点中选取。

##初始化质心initCentroids <- function(dataSet,k){  dataNum <- nrow(dataSet)  dim <- ncol(dataSet)  centroids <- matrix(0,k,dim)  for(i in 1:k){    index <- sample(1:dataNum,1)      centroids[i,] <- dataSet[index,]  }  return(centroids)}

最后就是定义具体的Kmeans算法了。

##kmeans算法kmeansDIY <- function(dataSet,k){  dataNum <- nrow(dataSet)  clusterAssment <- matrix(0,dataNum,2)  clusterChanged <- TRUE    ##控制是否继续进行质心的更新  centroids <- initCentroids(dataSet,k)   while(clusterChanged){        clusterChanged <- FALSE      for(i in 1:dataNum){    ##寻找最近的质心      minIndex <- 1    ##初始化最近质心所在簇编号和最小距离      minDist <- Inf      for(j in 1:k){    ##计算样本点与质心的距离，并记录最近质心的簇编号和最小距离        distance <- eucDistance(centroids[j,],dataSet[i,])          if(distance < minDist){              minDist <- distance            minIndex <- j        }      }      if(clusterAssment[i,1] != minIndex){    ##如果当前所在簇不是最近质心所在的簇，则更新质心的位置并再次进入while循环体        clusterChanged <- TRUE        clusterAssment[i,1] <- minIndex        clusterAssment[i,2] <- minDist^2      }    }    for(j in 1:length(k)){    ##更新质心的位置，新的质心由每个簇的均值得出      pointsInCluster <- dataSet[which(clusterAssment[,1]==j),]      centroids[j,] <- apply(pointsInCluster,2,mean)    }  }  return(clusterAssment[,1])}

根据算法的流程，首先要初始化质心，调用initCentroids函数来完成这一步骤。函数里定义了一个名为clusterChanged的布尔型变量，作为while的判断条件来控制质心的更新。当进入到每一次的while循环时，先将clusterChanged的值改为FALSE，然后计算样本点到k个质心的距离，记录距离最近的质心所在簇的编号以及相应的距离，同时记录minDist和minIndex。得到minIndex后与样本当前所在的簇编号做对比，如果不一致则说明还需要继续更新质心的位置，将该样本点分到minIndex簇中，并将clusterChanged赋值为TRUE继续进行while循环。当每个样本点的质心不再变化时，则停止更新质心。

对模型做一下测试：

library(dplyr)iris_data <- iris[,c(1:4)] %>% as.matrix()kks <- kmeansDIY(iris_data,3)library(ggplot2)qplot(Sepal.Length,Sepal.Width,data=iris,col=as.factor(kks),size=as.factor(kks),shape=as.factor(kks))

从图中可以看到本次的测试结果还不错，其实是从几次的测试中挑出一个最好的结果...Kmeans算法会收到初始值选取的影响，可能会导致算法收敛到局部最小值，使结果不理想。克服该问题可以选取二分Kmeans算法，这里不再介绍。