<ML In Action系列>k-Nearest Neighbors

来源：互联网发布：linux如何gzip压缩编辑：程序博客网时间：2024/05/19 20:59

KNN因为需要提前准备好已分类样本，所以属于supervised learning

KNN算法思想比较简单，基本原理如下：

给定一个未分类的样本，计算其与其他所有已分类样本的距离，然后选取距离其最近的K的点，在这K个点中进行vote，决定未分类样本的归属。

python代码如下：

def classify0(inX,dataSet,labels,k):    dataSetSize=dataSet.shape[0] #已分类样本大小    diffMat=tile(inX,(dataSetSize,1))-dataSet  #计算距离    sq=(diffMat**2).sum(1)    distance=sq**0.5    indexo=distance.argsort()    #numpy.argsort() return the sorted index    count={}    for x in range(k):   #进行vote        voteLabel=labels[indexo[x]]        count[voteLabel]=count.get(voteLabel,0)+1    result=sorted(count.items(), key=lambda d:d[0])    return result[0][0]

在对数据进行计算前，首先得对数据进行一些处理，比如同一条记录中，可能因为数值差异很大，那么就会带来数据本身权重的影响，所以需要对数据进行预处理下，比如normalization(什么是normalization，请戳我)。

python 代码如下：

def autoNorm(dataSet):    minVal=dataSet.min(0)  #None表示所有数据中，最小的;0表示，每column中最小的;1表示每row中最小的    maxVal=dataSet.max(0)    ranges=maxVal-minVal    normDataSet=zeros(shape(dataSet)) #构建一个新的标准的矩阵    m=dataSet.shape[0]   #shape,类似octave中的size()    normDataSet=dataSet-tile(minVal,(m,1))    normDataSet=normDataSet/tile(ranges,(m,1))    return normDataSet, ranges, minVal  #返回新的数据、范围、最小值，都是矩阵类型的

从本地文件中读取数据到内存，以矩阵形式：

def image2vector(filename):    vct=zeros((1,1024))    returned=[]    f=open(filename,'r')    s=f.read()    for x in s:        if x!='\n':            returned.append(int(x))    vct=array(returned).reshape((1,1024))    f.close()    return vct

书中的例子是对手写数字进行算法识别

def handwrittingClassTest():    hwWritting=[]    file_list=os.listdir("./digits/trainingDigits/")    m=len(file_list)    trainingMat = zeros((m,1024))    for i in range(m):        filename=file_list[i]        filestr = filename        filenumber=int(filestr.split('_')[0])        hwWritting.append(filenumber)        trainingMat[i,:] = image2vector('./digits/trainingDigits/%s' % filestr)    testFileList = os.listdir('./digits/testDigits/')    errorCount = 0.0    mTest = len(testFileList)    for i in range(mTest):        filename = testFileList[i]        filestr = filename        filenumber = int(filestr.split('_')[0])        vectorUnderTest = image2vector('./digits/testDigits/%s' % filestr)        classifierResult = classify0(vectorUnderTest,trainingMat, hwWritting, 3) #K的取值为3        print "the classifier came back with: %d, the real answer is: %d"\            % (classifierResult, filenumber)        # print filename        if (classifierResult != filenumber): errorCount += 1.0        print "\nthe total number of errors is: %d" % errorCount        print "\nthe total error rate is: %f" % (errorCount/float(mTest))

最终结果（原始样本为946条）：

the total number of errors is: 31

the total error rate is: 0.032770

PS：感觉效果没有想象中的那么好

KNN算法的优缺点：

Pros: 准确度高（样本数量少的话，可能会大幅度降低准确性），模型简单

Cons: 计算开销大，需要内存较多

0 0