k近邻算法（K-Nearest Neighbor）

k近邻是一种常用的分类与回归算法，其原理比较简单

基本思想

给定一个训练数据集，其中的实例的类别已定，对于新的实例，根据其K个距离最短的训练实例的类别出现的频率，对新的实例进行预测。

距离计算

欧式距离

曼哈顿距离

K的取值

K值的选择对k近邻法的结果产生重大影响

K值较小，近似误差会减小，估计误差会增大，意味着整体模型变得复杂，产生过拟合。

K值较大，近似误差会增大，估计误差会减少，模型简单，容易是预测发生错误。

实际应用中，K值一般取一个比较小的值，在采用交叉验证来逐步调整K值，最终选择适合该样本的最优的K值。

KNN算法实现
算法基本步骤：

1）计算待分类点与已知类别的点之间的距离

2）按照距离递增次序排序

3）选取与待分类点距离最小的k个点

4）确定前k个点所在类别的出现次数

5）返回前k个点出现次数最高的类别作为待分类点的预测分类

Code

#kNN.pyfrom numpy import  *import operatordef createDataSet():    group = array([[1.0, 1.1, 1.2], [1.2, 1.0, 1.1], [1.1, 1.2, 1.0], [0.1, 0.5, 0.7], [0.2, 0,1, 0.3], [2.1, 2.0, 2.1]])    labels  = ["AAA", "AAA", "BBB", "BBB", "CCC"]    return group,labelsdef classfity(sampleX, dataSet, labels, k):    dataSetSize = len(dataSet)    diffMat = tile(sampleX, (dataSetSize, 1))  - dataSet    sqDiffMat = diffMat ** 2    sqDistances = sqDiffMat.sum(axis =1)    distances = sqDistances ** 0.5    sortedDistIndicies = distances.argsorts()    classCount = {}    for i in range(k):        voteIlabel = labels[sortedDistIndicies[i]]        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1    sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)    return sortedClassCount[0][0]

参考：
《统计学习方法》 李航
http://blog.csdn.net/gamer_gyt/article/details/47418223