k-近邻算法(kNN)

引言

本节介绍kNN算法的基本理论以及如何使用距离测量的方法分类物品。其次，将使用python从文本文件中导入并解析数据，然后，当存在许多数据来源时，如何避免计算距离时可能碰到的一些常见的错识。

k-近邻算法概述

k-近邻(k Nearest Neighbors)算法采用测量不同特征之间的距离方法进行分类。它的工作原理是：存在一个样本数据集合，并且样本集中每个数据都存在标签，即我们知道样本每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

k-近邻算法的优点是精度高，对异常值不敏感，无数据输入假定；缺点是计算复杂度高、空间复杂度高。适用于数值和标称型数据。

准备知识：使用python导入数据

首先，创建名为kNN.py的python模块，然后添加下面代码：

from numpy import *import operatordef createDataSet():    group = array([[1.0,1.1],[1.0,1.0],[0,0.1]])    labels =['A','A','B','B']    return group,labels

进入python开发环境之后，输入以下命令如下：

>>> import kNN>>> group,labels =kNN.createDataSet()>>> grouparray([[ 1. ,  1.1],       [ 1. ,  1. ],       [ 0. ,  0.1]])>>> labels['A', 'A', 'B', 'B']

实施kNN算法

使用k-近邻算法将每组数据划分到某个类中，其伪代码如下：

对未知类别属性的数据集中的每个点依次执行以下操作：

1. 计算已知类别数据集中的点与当前点之间的距离；
2. 按照距离递增交序排序；
3. 选取与当前点距离最小的k个点；
4. 确定前k个点所在类别的出现频率；
5. 返回前k个点出现频率最高的类别作为当前点的预测分类。

python函数classify(　)程序如下所示：

def classify(inX, dataSet, labels, k):    dataSetSize = dataSet.shape[0]    diffMat = tile(inX, (dataSetSize,1)) - dataSet    sqDiffMat = diffMat**2    sqDistances = sqDiffMat.sum(axis=1)    distances = sqDistances**0.5    sortedDistIndicies = distances.argsort()         classCount={}              for i in range(k):        voteIlabel = labels[sortedDistIndicies[i]]        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1    sortedClassCount = sorted(classCount.iteritems(),      key=operator.itemgetter(1), reverse=True)    return sortedClassCount[0][0]

注：classify(　)函数有4个输入参数：用于分类的输入向量是inX,输入的训练样本集为dataSet，标签向量为labels，最后的参数k表示用于选择最近邻据的数目，其中标签向量的元素数目和矩阵dataSet的行数相同。

示例：使用k-近邻算法改进约会网站的配对结果

在约会网站上使用k-近邻算法的步骤：

1. 收集数据：提供文本文件。
2. 准备数据：使用python解析文本文件。
3. 分析数据：使用Matplotlib画二维扩散图。
4. 训练算法：此步骤不适用于k-近邻算法。
5. 测试算法：使用部分数据作为测试样本。测试样本与非测试样本的区别在于：测试样本是已经完成分类的数据，如果预没分类与实际类别不同，则标记为一个error.
6. 使用算法：产生简单的命令行程序，然后可以输入一些特征数据以判断对方是否为自己喜欢的类型。
   

准备数据：从文本文件中解析数据

将数据存放到文本文件，每一个样本数据占据一行，总共1000行。首先，必须将特处理数据改变为分类器可以接受的格式。在kNN.py中创建file2matrix的函数，以此来处理输入格式问题。将文本记录转换为NumPy的解析程序如下所示：

def file2matrix(filename):    fr = open(filename)    numberOfLines = len(fr.readlines())         #get the number of lines in the file    returnMat = zeros((numberOfLines,3))        #prepare matrix to return    classLabelVector = []                       #prepare labels return       fr = open(filename)    index = 0    for line in fr.readlines():        line = line.strip()        listFromLine = line.split('\t')        returnMat[index,:] = listFromLine[0:3]        classLabelVector.append(int(listFromLine[-1]))        index += 1    return returnMat,classLabelVector

分析数据：使用Matplotlib创建散点图

首先我们使用Matplotlib制作原始数据的散点图.如下程序所示：

import matplotlibimport matplotlib.pyplot as pltfig = plt.figure()ax = fig.add_subplot(111)ax.scatter(datingDataMat[:,1],datingDataMat[:,2])plt.show( )

准备数据：归一化数值

程序如下所示：

def autoNorm(dataSet)    minVal =dataSet.min(0)    maxVal =dataSet.max(0)    ranges =maxVal-minVal    normDataSet = zeros(shape(dataSet))    m = dataSet.shap[0]    normDataSet = dataSet - tile(minVal,(m,1))    normDataSet = normDataSet/tile(ranges.(m,1))    return normDataSet,ranges, minVal

参考资料

[1]Peter Harrington, "Machine Learning in Action" ISBN 9781617290183,Printed in the United States of America. Manning Publications.

关于Machine Learning &Pattern Recognition更多讨论与交流，敬请关注本博客和新浪微博songzi_tea.