《机器学习实战》学习笔记——kNN

原始代码：

程序清单0：

from numpy import *import operatordef createDataSet():    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])    labels = ['A', 'A', 'B', 'B']    return group, labels

执行：

>>>import knn>>>group, labels = knn.createDataSet()>>>group    array([[ 1. ,  1.1],           [ 1. ,  1. ],           [ 0. ,  0. ],           [ 0. ,  0.1]])>>>labels    ['A', 'A', 'B', 'B']

程序清单2-1：

程序清单2-1和上面的程序清单0是在一个.py文件里，是紧接着上面的代码写的

def classify0(inX, dataSet, labels, k):    #shape[0]获取行 shape[1] 获取列    dataSetSize = dataSet.shape[0]    #tile将inX扩充为dataSetSize行1倍inX列的矩阵    diffMat = tile(inX, (dataSetSize,1)) - dataSet    #下面三行代码计算距离    sqDiffMat = diffMat**2    sqDistances = sqDiffMat.sum(axis=1)    distances = sqDistances**0.5    #用argsort函数返回的是，数组每个元素从小到大排序后的索引值，即第1、2、3...的位置序号    sortedDistIndicies = distances.argsort()    #字典：key：label，value：前k个点中，该label的点的个数    classCount = {}    #投票并统计票数最多的label    for i in range(k):        #得到第i近的点的label，sortedDistIndicies[i]表示该点在DataSet中的序号        voteIlabel = labels[sortedDistIndicies[i]]        #在classCount中给key为voteIlabel的value +1        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1    #将投票计距离最近的前k个点的label数的字典进行排序，返回值sortedClassCount     #类型为list[(label1，label1Count),(label2，label2Count)]每个括号内为tuple    sortedClassCount = sorted(classCount.iteritems(),     key = operator.itemgetter(1), reverse = True)    #返回sortedClassCount中第一个位置的tuple中的第一个位置的值，即得票最多的label    return sortedClassCount[0][0]

执行：

>>>knn.classify0([1,1], group, labels, 3)>>>'A'