机器学习实战-KNN

KNN算法

KNN算法流程：
1.求测试数据集与各个训练数据之间的距离
2.然后按照距离递增关系进行排序
3.选取距离最小的K个点
4.确定前K个点所在类别的频率
5.返回前K个点中频率最高的类别作为测试集的预测分类

缺点：

1，计算量大，需要对所有的数据集遍历一遍。

2，结果不稳定，从图中我们可以看出结果主要由K来确定。K是人为规定的所以导致结果容易出现偏差

优点：

算法简单。

code：

# -*- coding: utf-8 -*-"""Created on Wed Nov 29 16:09:27 2017@author: lenovo"""'''Load data'''def createDataSet():    group = array([[1.0,2.0],                   [1.2,0.1],                   [0.1,1.4],                   [0.3,3.5]])    labels = ['A','A','B','B']    return group,labelsdef classify(input,dataSet,label,k):    dataSize = dataSet.shape[0]    print(dataSize)    diff = tile(input,(dataSize,1)) - dataSet#这里tile相当于把行复制4倍，列不变    sqdiff = diff**2    #print(sum(sqdiff,axis=1))    squareDist = sum(sqdiff,axis=1)#每行相加，相当于x**2+y**2    dist = squareDist**0.5    sortedDistIndex = argsort(dist)#将dist进行排序,sortedDistIndex返回的是标签，0,1,2等    classCount = {}#classCount相当于一个map<char,count>,char相当于标签，count相当于个数    for i in range(k):        voteLabel = label[sortedDistIndex[i]]#得到前k个label               classCount[voteLabel] = classCount.get(voteLabel,0)+1#classCount.get 从字典中取值，key为voteIlabel，如果没有返回0，如果有就加1       # print("%s:%d"%(voteLabel, classCount[voteLabel]))        maxCount = 0        #key就是label，value就是统计的值        for key,value in classCount.items():            if value >maxCount:                maxCount = value                classes = key    return classesif __name__=='__main__':    dataSet,labels = createDataSet()    #print (dataSet)    input = array([1.1,0.3])    K = 3    output = classify(input,dataSet,labels,K)    print (output)    

详细分解一下：

根据算法的第一二步我们已经求得了

A:0.223607
B:1.486607
A:1.702939
B:3.298485
然后我们选择K=3，所以前K个label是：A,B,A。然后对频率进行统计可以得

A:2,B:1所以这样我们知道测试集肯定被归纳为A了。

下面代码需要补一下python中字典的用法，我也顺便给大家搬运一下吧：