初识机器学习——k-近邻算法（1）

代码运行环境：Python 3.6.0 |Anaconda 4.3.1 (64-bit)
代码和图片均来自Peter harrington的《机器学习实战》
python3.6.0入门教程：http://www.pythondoc.com/pythontutorial3/

什么是k-近邻算法：（个人理解）


如图所示，通过对训练样本（已给的6个电影）中打斗镜头和接吻镜头进行数据统计，判断电影属于什么类型，即电影的标签
对于一个未知类型电影，要判断它是什么类型，只需通过计算未知电影和已知电影之间的距离，通过选取前K个距离最近的即可判断未知电影的类型。

kNN算法代码：

# coding: utf-8from numpy import *from os import listdirimport operatordef createDataSet(): #创造训练数组    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])    labels = ['A','A','B','B']    return group, labelsdef classify0(inX, dataSet, labels, k): #判断labels    dataSetSize = dataSet.shape[0] #dataSet的第一维的长度    diffMat = tile(inX, (dataSetSize,1)) - dataSet #将inX扩展成和dataSet大小一样的数组    sqDiffMat = diffMat ** 2    sqDistances = sqDiffMat.sum(axis=1) #数组行向量相加    distances = sqDistances ** 0.5 #sqrt    sortedDistIndicies = distances.argsort() #将distances中的元素按照索引排序（对应Labels中的元素）    classCount = {} #labels和dataSet对照的dict    for i in range(k):        voteIlabels = labels[sortedDistIndicies[i]] #取最小元素的索引对应的Labels        classCount[voteIlabels] = classCount.get(voteIlabels,0)+1 #get(voteIlabels,0)：voteIlabels存在则get，不存在get 0        sortedClassCount = sorted(classCount.items(), #operator.itemgetter(1)：获取第一个域的值         key=operator.itemgetter(1),reverse=True) #reverse：倒序        return sortedClassCount[0][0] #返回匹配的距离最小Labels

运行结果：

In [1]: import kNNIn [2]: group,labels = kNN.createDataSet()In [3]: groupOut[3]:array([[ 1. ,  1.1],       [ 1. ,  1. ],       [ 0. ,  0. ],       [ 0. ,  0.1]])In [4]: labelsOut[4]: ['A', 'A', 'B', 'B']In [5]: kNN.classify0([0,0],group,labels,3)Out[5]: 'B'