【KNN近邻算法】实现识别简单数字验证码（算法原理+代码笔记）

此笔记适合有一定python基础，了解numpy科学计算库的人，有一定线性代数基础的人。对KNN算法原理了解的更容易看懂，笔者水平受限，写以下笔记主要目的是分享自己的学习过程以及便于以后复习查看。

KNN 近邻算法实现原理：

实现步骤：

  ①：处理数据

          ②：数据向量化

          ③：计算欧几里得距离

          ④：根据距离进行分类

训练数据和测试数据：（存放在txt文件里面）

下载地址：链接：http://pan.baidu.com/s/1jHO0PHs 密码：5iba

整体思路：

核心算法（算法思路）：

  KNN算法主要实现将传入的测试数据与训练数据做对比，其中训练数据已知类型，测试数据并不知道。

                          KNN算法函数是：knn(k,testdata,traindata,labels):

          参数解释：1、k代表训练样本的个数。

                              2、testdata是测试数据（具体格式后面解释）。

                              3、traindata是训练数据（具体格式后面解释）。

                              4、labels代表训练数据对应的类别。

 算法如下：

from numpy import *import operatorfrom os import listdirdef knn(k,testdata,traindata,labels):    #testdata:[特征1，特征2，特征3]    #traindata:[[特征1，特征2，特征3],[特征1，特征2，特征3],[特征1，特征2，特征3]]    traindatasize=traindata.shape[0]    dif=tile(testdata,(traindatasize,1))-traindata    sqdif=dif**2    #sumsqdif已经成为一维的了[a,b,c,d]    sumsqdif=sqdif.sum(axis=1)    distance=sumsqdif**0.5    sortdistance=distance.argsort()    #sortdistance指的是测试数据与各训练数据的距离由近到远排序之后的结果列表    count={}#{"类别":"次数"}    for i in range(0,k):        vote=labels[sortdistance[i]]#当前距离的类别是谁（由近至远）        count[vote]=count.get(vote,0)+1    #print(count)    sortcount=sorted(count.items(),key=operator.itemgetter(1),reverse=True)    return sortcount[0][0]

 核心思路：

1、编写函数将训练文件里面的数据按行读取一次存放到一个列表arr中

#数据加载，将数据转换成knn算法支持的向量。def datatoarray(fname):  #fname是文件名称    arr=[]#新建一个列表    fh=open(fname) #打开fname对应的这个文件    for i in range(0,32):        thisline=fh.readline()  #按行读取一次存放到列表中        for j in range(0,32):            arr.append(int(thisline[j]))  #将按行读取的结果存放到列表中    return arr#返回列表

2、编写函数得到每一个训练样本的类别

#取文件名前缀（类别）def seplabel(fname):    filestr=fname.split(".")[0]  #split函数是分割函数，在这里是以‘.’分割，并且去前面部分    label=int(filestr.split("_")[0])  #split函数是分割函数，在这里是以‘_’分割，并且去前面部分，就会得到这个数据的类别，

                                      #主要是因为文件名的格式是形如：8_55，8代码这个文件的正确识别结果应该是8              

以上2步是针对单个训练文件

3、针对批量训练文件，全部转换成KNN算法支持的格式，并且将每一个训练样本对应的类别存放在将要传给KNN算法的列表参数labels中，并且每一个列表元素和格式化后的训练数据样本对应

def traindata():    labels=[]  #存放类别    trainfile=listdir("D:/trainandtest/traindata") #把文件夹打开并且把文件夹中所#    有的文件名存放在列表中，为了最后放在datatoarray函数的arr里（那里面也是列表类型）    num=len(trainfile)    #建立一个列为1024,行为num的数组模型    trainarr=zeros((num,1024))#      {#       [#        [      ]#        [      ]#        [      ]#        [      ]   num为行数，1024是每一行存放的特征数目#               ]}    for i in range(0,num):        thisname=trainfile[i]        thislabel=seplabel(thisname)        labels.append(thislabel)        trainarr[i,:]=datatoarray("D:/trainandtest/traindata/"+thisname)    return trainarr,labels

              4、其他操作：

trainarr,labels=traindata()  #得到训练样本的类别，及转换成KNN算法支持的向量格式thistestfile="5_66.txt"       #当前要测试的文件testarr=datatoarray("D:/trainandtest/testdata/"+thistestfile)   #把测试文件转换成KNN支持的向量格式rst=knn(3,testarr,trainarr,labels)   #调用KNN算法实现识别，并且把值返回给rstprint "this writing's classify is",rst

完整代码：

#Wrting shibie system.# encoding=utf-8#numpy是处理二维矩阵的科学计算库from numpy import *import operatorfrom os import listdirdef knn(k,testdata,traindata,labels):    #testdata:[特征1，特征2，特征3]    #traindata:[[特征1，特征2，特征3],[特征1，特征2，特征3],[特征1，特征2，特征3]]    traindatasize=traindata.shape[0]    dif=tile(testdata,(traindatasize,1))-traindata    sqdif=dif**2    #sumsqdif已经成为一维的了[a,b,c,d]    sumsqdif=sqdif.sum(axis=1)    distance=sumsqdif**0.5    sortdistance=distance.argsort()    #sortdistance指的是测试数据与各训练数据的距离由近到远排序之后的结果列表    count={}#{"类别":"次数"}    for i in range(0,k):        vote=labels[sortdistance[i]]#当前距离的类别是谁（由近至远）        count[vote]=count.get(vote,0)+1    #print(count)    sortcount=sorted(count.items(),key=operator.itemgetter(1),reverse=True)    return sortcount[0][0]#数据加载，将数据转换成knn算法支持的向量。def datatoarray(fname):    arr=[]    fh=open(fname)    for i in range(0,32):        thisline=fh.readline()        for j in range(0,32):            arr.append(int(thisline[j]))    return arr#a=datatoarray("D:/Python35/traindata/0_3.txt")#取文件名前缀（类别）def seplabel(fname):    filestr=fname.split(".")[0]    label=int(filestr.split("_")[0])    return label#建立训练数据#labels:[类别,类别，类别,类别]#tainarr：[[特征1，特征2，特征3],[特征1，特征2，特征3],[特征1，特征2，特征3]]def traindata():    labels=[]  #存放类别    trainfile=listdir("D:/trainandtest/traindata") #把文件夹打开并且把文件夹中所#    有的文件名存放在列表中，为了最后放在datatoarray函数的arr里（那里面也是列表类型）    num=len(trainfile)    #列为1024,行为num的数组    trainarr=zeros((num,1024))#      {#       [#        [      ]#        [      ]#        [      ]#        [      ]   num为行数，1024是每一行存放的特征数目#               ]}    for i in range(0,num):        thisname=trainfile[i]        thislabel=seplabel(thisname)        labels.append(thislabel)        trainarr[i,:]=datatoarray("D:/trainandtest/traindata/"+thisname)    return trainarr,labels           trainarr,labels=traindata()thistestfile="5_66.txt"testarr=datatoarray("D:/trainandtest/testdata/"+thistestfile)rst=knn(3,testarr,trainarr,labels)print "this writing's classify is",rst#小作业#实现将testdata里面的数据批量识别（提示：通过循环）#2：实现计算识别准确率SA

运行结果：