机器学习1-KNN算法设计part1

KNN算法（K-NearestNeighbor），也就是K-近邻算法，属于监督学习的一类。

其优点是：精度高、对异常值不敏感、无数据输入假定。
缺点为：计算复杂度高、空间复杂度高。
适用数据范围：数值型和标称型。

工作原理：
存在一个样本数据集合，也成为训练样本集，并且样本集中每个数据都存在标签，也即我们知道样本集中每一个数据与所属分类的对应关系。
在输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最临近）的分类标签。
一般来说，我们只选择样本数据集中前k个最相似的数据。
最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

准备：使用Python导入数据

from numpy import *import operatordef creatDataSet():    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])    labels = ['A','A','B','B']    return group,labels

在cmd中输入：

import kNN

就将kNN模块导入了

k-近邻算法：

伪代码实现：

（1）计算已知类别数据集中的点与当前点之间的距离
（2）按照距离递增次序进行排序
（3）选取与当前点距离最小的k个点
（4）确定前k个点所在类别的出现频率
（5）返回前k个点出现频率最高的类别作为当前点的预测分类

代码：

def classify0(inX, dataSet,labels,k):    dataSetSize = dataSet.shape[0]    diffMat = tile(inX, (dataSetSize,1)) - dataSet    sqDiffMat = diffMat**2//**表示乘方运算    sqDistances = sqDiffMat.sum(axis = 1)    distances = sqDistances**0.5//开方，得到输入点与各个训练样本点之间的距离    sortedDistIndicies = distances.argsort()//argsort函数返回的是数组值从小到大的索引值，也就是距离最短    classcount={}//定义一个字典    for i in range(k):        voteIlabel = labels[sortedDistIndicies[i]]//取前k个，其中voteIlabel为'A'或'B'        classcount[voteIlabel] = classcount.get(voteIlabel,0) + 1    sortedClassCount = sorted(classcount.iteritems(), key =operator.itemgetter(1), reverse=True)    return sortedClassCount[0][0]

---

测试：

kNN.classify0([0,0], group, labels, 3)

输出为：B

---

算法详解：
可以看到，classify0()函数有四个输入参数：
inX：用于分类的输入向量
dataSet：用于输入的训练样本集
labels：标签向量
k：用于选择最近邻居的数目，其中标签向量的元素数目与矩阵dataSet的行数是相同的

tile()函数:
numpy.tile(A,B)表示将A 重复B次

>>> import numpy>>> numpy.tile([0,0],5)#在列方向上重复[0,0]5次，默认行1次array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0])>>> numpy.tile([0,0],(1,1))#在列方向上重复[0,0]1次，行1次array([[0, 0]])>>> numpy.tile([0,0],(2,1))#在列方向上重复[0,0]1次，行2次array([[0, 0],       [0, 0]])>>> numpy.tile([0,0],(3,1))array([[0, 0],       [0, 0],       [0, 0]])>>> numpy.tile([0,0],(1,3))#在列方向上重复[0,0]3次，行1次array([[0, 0, 0, 0, 0, 0]])>>> numpy.tile([0,0],(2,3))#在列方向上重复[0,0]3次，行2次array([[0, 0, 0, 0, 0, 0],       [0, 0, 0, 0, 0, 0]])   

.sum(axis=1)
axis=1表示的是将一个矩阵的每一行向量相加的结果
例如：np.sum([[0,1,2],[2,1,3]],axis=1)的结果就是：array（[3,6]）
即：[0+1+2 , 2+1+3]

dict.get(key, default=None)
key – 字典中要查找的键。
default – 如果指定键的值不存在时，返回该默认值值。
例如：

dict = {'Name': 'Zara', 'Age': 27}print "Value : %s" %  dict.get('Age')print "Value : %s" %  dict.get('Sex', "Never")

输出结果为

Value : 27
Value : Never

在程序中，
classcount[voteIlabel] = classcount.get(voteIlabel,0) + 1
即访问键为voteIlabel（即’A’或者’B’）的值，而一开始classcount是空的，按照get()的语法赋值为0，然后再+1，即可实现相应label的计数

sorted(classcount.iteritems(), key =operator.itemgetter(1), reverse=True)
首先，iteritems用于迭代获取键值对
key =operator.itemgetter(1)表示根据元组第二项进行排序
reverse=True表示按照降序进行排列