数据挖掘之k-means算法的Python实现

引自百度~K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

k均值算法原理：

   (1)从n个数据对象任意选择k个对象作为初始聚类中心。

   (2)根据每个聚类对象的均值，计算每个对象与这些中心对象的距离，并根据最小距离重新对相应对象进行划分。

   (3)重新计算每个聚类的均值。

   (4)循环2.3步骤，知道每个聚类不再发生变化为止。

源代码实现：

k_means.py，主要实现k-均值的功能：

#!/usr/bin/python#coding=utf-8from numpy import *import matplotlib.pyplot as plt#计算欧氏距离def euclDistance(v1,v2):#return sqrt(sum(power(v2 - v1, 2)))#使用随机样本初始化质心def initCentroids(dataSet,k):numSamples, dim = dataSet.shapecentroids = zeros((k, dim))for i in range(k):index = int(random.uniform(0, numSamples))centroids[i, :] = dataSet[index, :]return centroids#k-均值聚类def kmeans(dataSet,k):numSamples = dataSet.shape[0]clusterAssment = mat(zeros((numSamples, 2)))clusterChanged = True#初始化质心centroids = initCentroids(dataSet, k)while clusterChanged: clusterChanged = False#遍历样本数据for i in xrange(numSamples):minDist  = 100000.0minIndex = 0#遍历质心#找出跟质心最近的数据点for j in range(k):distance = euclDistance(centroids[j, :], dataSet[i, :])if distance < minDist:minDist  = distanceminIndex = j#更新簇if clusterAssment[i, 0] != minIndex:clusterChanged = TrueclusterAssment[i, :] = minIndex, minDist**2#更新质心for j in range(k):pointsInCluster = dataSet[nonzero(clusterAssment[:, 0].A == j)[0]]centroids[j, :] = mean(pointsInCluster, axis = 0)print '[+]聚类完成！'return centroids, clusterAssment#只显示二维数据的簇def showCluster(dataSet,k,centroids,clusterAssment):numSamples, dim = dataSet.shapeif dim != 2:print "[!]错误：输入的数据不是二维的！"return 1mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']if k > len(mark):print "[!]输入的k值太大！"return 1#描绘所有的样本数据for i in xrange(numSamples):markIndex = int(clusterAssment[i, 0])plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex])mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']#描绘质心for i in range(k):plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 12)plt.show()

test.py，主要通过调用k_means.py实现k-均值聚类的测试：

#!/usr/bin/python#coding=utf-8from numpy import *import matplotlib.pyplot as pltimport k_meansfrom optparse import OptionParserdef main():print "[*]加载数据..."dataSet = []fileIn = open('testSet.txt')for line in fileIn.readlines():lineArr = line.strip().split('\t')dataSet.append([float(lineArr[0]), float(lineArr[1])])print "[*]聚类..."dataSet = mat(dataSet)#用mat函数转换为矩阵之后可以才进行一些线性代数的操作k = options.kcentroids, clusterAssment = k_means.kmeans(dataSet, k)print "[*]输出图形化结果"k_means.showCluster(dataSet, k, centroids, clusterAssment)if __name__ == '__main__':parser = OptionParser('./test.py [-k <k值, 默认为2>]')parser.add_option('-k',dest='k',type='int',default=2,help='k值')(options,args) = parser.parse_args()print ' _                                        'print '| | __     _ __ ___   ___  __ _ _ __  ___ 'print "| |/ /____| '_ ` _ \ / _ \/ _` | '_ \/ __|"print "|   <_____| | | | | |  __/ (_| | | | \__ \\"print '|_|\_\    |_| |_| |_|\___|\__,_|_| |_|___/ k-均值'printmain()

testSet.txt，测试用的数据集，数据有上百对的信息，由于数据太多就只截图：

运行结果：

分别是使用默认中心点数量参数值为2和设置中心点数量为4的图形结果：