2_1最近邻算法kNN(k_nearest_neighbor)——classify0_2_1

声明：《机器学习实战》代码详细注释和重构，以及相关的函数、模块和算法的解释；本文为博主原创文章，未经博主允许不得转载。

1. k-近邻算法（程序清单2-1）

*#代码：Peter Gong_shuai
*#中文注释：Gong_shuai
*#代码重构：Gong_shuai
*#函数注解：Gong_shuai
*#相关的函数、模块和算法的解释：Gong_shuai
*#环境：Python2.7、Sublime Text3、mac

2. 代码

#coding=utf-8#k-近邻算法（程序清单2-1）#代码：Peter  Gong_shuai#中文注释：Gong_shuai#代码重构：Gong_shuai#函数注解：Gong_shuai#环境：python2.7from numpy import *import operator#创建数据集和标签def createDataSet():    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])    labels = ['A','A','B','B']    return group, labels#伪代码：    #对未知类别属性的数据集中的每个点依次执行以下操作:       #(1)计算已知类别数据集中的点与当前点之间的距离;       #(2)按照距离递增次序排序;       #(3)选取与当前点距离最小的走个点;       #(4)确定前灸个点所在类别的出现频率;       #(5)返回前女个点出现频率最高的类别作为当前点的预测分类。#函数说明：        #1.tile（A，n）重复某个数组，将数组A重复n次，构成一个新的数组           # >>>a = [0,1,2]           # >>>b = tile(a,2)           # b           # array([0,1,2,0,1,2])#k近邻算法def classify0(inX, dataSet, labels, k):    #输入向量，输入的训练样本集，标签向量，选择最近邻的数目    dataSetSize = dataSet.shape[0]    #距离计算    diffMat = tile(inX, (dataSetSize,1)) - dataSet   #重复数组     sqDiffMat = diffMat**2    sqDistances = sqDiffMat.sum(axis=1)    distances = sqDistances**0.5    sortedDistIndicies = distances.argsort()     #选择距离最小的k个点     classCount={}              for i in range(k):        voteIlabel = labels[sortedDistIndicies[i]]        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1       sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)    #排序    return sortedClassCount[0][0]group,labels = createDataSet()print classify0([0,0], group, labels, 3)

3. 运行结果