K-近邻算法

概述
k-近邻算法采用测量不同特征值之间的距离方法进行分类。
一般流程

1. 收集数据
2. 准备数据
3. 分析数据
4. 训练算法 %此步骤不适用k-近邻算法
5. 测试算法
6. 使用算法

导入数据集

from numpy import * #导入科学计算包import operator #导入运算符模块def createDataSet():    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])    lables=['A','A','B','B']    return group,lables

准备数据：从文本中解析数据

def file2mattrix(filename):     #打开文件并得到文件行数     fr=open(filename)    arrayOLines=fr.readlines()    numberOfLines=len(arrayOLines)     #创建返回的numPy矩阵      ##创建m行n列的零矩阵,存数据矩阵    returnMat=zeros((numberOfLines,3))    classLableVector=[]#创建类标签    index=0    #解析文件数据到列表    for line in arrayOLines:        #去除行的尾部的换行符        line=line.strip()         #将一行数据按空进行分割        listFromLine=line.split('\t')         #将前三列数据存入将要返回的数据矩阵的对应行的前三列        returnMat[index,:]=listFromLine[:3]        #最后一列为数据的分类标签        classLableVector.append(int(listFromLine[-1]))        index+=1    return returnMat,classLableVector

数据分析：使用Matplotlib绘制散点图

需要导入两个库

import matplotlibimport matplotlib.pyplot as plt

用上述函数从文本中导入数据

datingDataMat,datingLables=file2mattrix("datingTestSet.txt")

绘制散点图

fig=plt.figure()ax=fig.add_subplot(111)#画布分割#x轴为数据矩阵第一列，Y轴为数据矩阵第二列ax.scatter(datingDataMat[:,1],datingDataMat[:,2])plt.show()

绘制的散点图如下图所示：

准备数据：归一化数值
归一化数值一般就是将数据变换到0到1或者-1到1的范围内，下面公式能将任意取值范围的数值归一化到0到1范围内：
newValue=(oldValue-min)/(max-min)
其中max和min分别为数据集中最大特征值和最小特征值

def autoNorm(dataSet):    #取列的最大值最小值（参数0表示从列取而不是行）    minVals=dataSet.min(0)    maxVals=dataSet.max(0)    ranges=maxVals-minVals    normDataSet=zeros(shape(dataSet))    m=dataSet.shape[0]    normDataSet=dataSet-tile(minVals,(m,1))    normDataSet=normDataSet/tile(ranges,(m,1))    return normDataSet,ranges,minVals

分析数据：

def classify0(inX,dataSet,lables,k):     # shape[0]获取行 shape[1] 获取列    dataSetSize=dataSet.shape[0]    #求欧氏距离    diffMat=tile(inX,(dataSetSize,1))-dataSet    sqDiffMat=diffMat**2    sqDistances=sqDiffMat.sum(axis=1)    distances=sqDistances**0.5    #升序排列    sortedDistIndicies=distances.argsort()    classCount={}    for i in range(k):        # 获取类别         voteIlabel=labels[sortedDistIndicies[i]]        #字典的get方法，查找classCount中是否包含voteIlabel，是则返回该值，不是则返回defValue，这里是0        # 其实这也就是计算K临近点中出现的类别的频率，以次数体现        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1        # 对字典中的类别出现次数进行排序，classCount中存储的事 key-value，其中key就是label，value就是出现的次数        # 所以key=operator.itemgetter(1)选中的事value，也就是对次数进行排序        sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)        #sortedClassCount[0][0]也就是排序后的次数最大的那个label        return sortedClassCount[0][0]

测试算法：作为完整程序验证分类器

def datingClassTest():    hoRatio=0.10    datingDataMat,datingLables=file2matix('')    normMat,ranges,minVals=autoNorm(datingDataMat)    m=normMat.shape[0]    numTestVecs=int(m*hoRatio)    errorCount=0.0    for i in range(numTestVecs):        classifierResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],\            ,datingLables[numTestVecs:m],3)        print('The classfier came back with: %d, The real answer is: %d'%(classifierResult, datingLables[i]))        if(classifierResult!=datingLables[i]):            errorCount+=1.0    print('The total error rate is: %f'%(errorCount/float(numTestVecs)))

使用算法：构建完整可用系统

def classfyPerson():    resultList=['not at all','in small doses','in large doses']    percentTats=float(input('percentage of time spent playing vedio games?'))    ffMiles=float(input('frequent flier miles earned per year?'))    iceCream=float(input('liters of ice cream consumed per year?'))    datingDataMat,datingLables=file2mattrix('')    normMat,ranges,minVals=autoNorm(datingDataMat)    inArr=array([ffMiles,percentTats,iceCream])    classifierResult=classify0((inArr-minVals)/ranges,normMat,datingLables,3)    print('You will probably like this person: ',    resultList[classifierResult-1])