机器学习实战之K-近邻算法

K-近邻算法工作原理

        存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的数据进行比较，然后算法提取样本集中特征最相似数据（最邻近）的分类标签。一般来说，我们只选取样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

K-邻近算法代码

#    inX: 用于分类的输入向量#    dataSet: 训练样本集#    lables: 标签向量def classify0(inX, dataSet, labels, k):    #取得样本集个数    dataSetSize = dataSet.shape[0]    #计算待分类的输入向量与样本集中每个数据的距离    diffMat = tile(inX, (dataSetSize, 1)) - dataSet      sqDiffMat = diffMat ** 2    sqDistances = sqDiffMat.sum(axis = 1)    distances = sqDistances ** 0.5    #argsort函数的作用是返回一个索引列表，该列表使得    #distance[sortedDistIndices[0]]<distance[sortedDistIndices[1]]<...    sortedDistIndices = distances.argsort()    classCount = {}    #统计前K个数据所属的分类，并记录每个类别中数据的个数，并返回数据最多的那个类别    for i in range(k):        voteIlabel = labels[sortedDistIndices[i]]        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1    sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1),                        reverse = True)    return sortedClassCount[0][0]

示例一：用K-近邻算法改进约会网站的配对效果

1、准备数据：从文本文件中解析数据

       约会网站的样本数据主要包含以下3种特征：

                 每年获得的飞行常客历程数

                 玩视频游戏所占时间百分比

                 每周消费的冰淇淋公升数

#   将待处理数据的格式变为分类器可以接受的格式def file2matrix(filename):    fr = open(filename)    arrayOLines = fr.readlines()    #获得文件的行数    numberOfLines = len(arrayOLines)    #创建一个以零填充的矩阵，行数为文件的行数，列数为3    returnMat = zeros((numberOfLines, 3))    classLabelVector = []    index = 0    for line in arrayOLines:        line = line.strip()        listFromLine = line.split('\t')        #将待处理数据每行前三个数存在矩阵中的一行中        returnMat[index,:] = listFromLine[0:3]        #将待处理数据每行最后一个数存在类别向量中        classLabelVector.append(int(listFromLine[-1]))        index += 1    return returnMat, classLabelVector