k-近邻算法（kNN）

最近假期，参考李航的《统计学习方法》和Peter Harrington的《机器学习实战》整理了之前学习的机器学习算法（原理+python实现），欢迎小伙伴们交流。

1.kNN原理

k近邻算法比较简单、直观，简单的说就是采用测量不同的特征值之间的距离方法进行分类，也就是给定一个训练数据集，对新的输入实列，在训练数据集中找到与该实例最相似（最邻近）的k个实列，这k个实列所属最多的类就是该输入实列的类别。

2.kNN特点

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高
使用范围：数值型和标称型

3.kNN实现

def classify0(inX, dataSet, labels, k):    #获取训练样本数量    dataSetSize = dataSet.shape[0]    #构造输入值和训练样本的差值矩阵     diffMat = tile(inX, (dataSetSize,1)) - dataSet    #计算欧式距离     sqDiffMat = diffMat**2    sqDistances = sqDiffMat.sum(axis=1)    distances = sqDistances**0.5    #获取距离升序排序后对应的下标列表    sortedDistIndicies = distances.argsort()        #统计距离最小的k个点对应的样本标签      classCount={}              for i in range(k):        #取第i+1近邻样本对应的类别标签        voteIlabel = labels[sortedDistIndicies[i]]        #以标签为key，标签出现的次数为value将统计到的标签及出现次数写进字典         classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1    #对字典按value从大到小排序     sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)    #返回排序后字典中最大value对应的标签    return sortedClassCount[0][0]