初识机器学习——k-近邻算法（3）

运行环境：Python 3.6.0 |Anaconda 4.3.1 (64-bit)

手写识别系统

需要识别的数字已经处理成宽高均为32的黑白图像了。通过下面的函数将图形处理成一个向量去使用前面的分类器。

def img2Vector(filename):    returnVect = zeros((1,1024))     fr = open(filename)    for i in range(32):        lineStr = fr.readline()        for j in range(32):            returnVect[0,32*i+j] = int(lineStr[j]) #处理成一个向量    return returnVect

运行结果：

In [3]: testVector = kNN.img2Vector('testDigits\\0_13.txt')In [4]: testVector[0,0:31]Out[4]:array([ 0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  1.,  1.,  1.,  1.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.])

手写数字识别系统测试代码：

def handwritingClassTest():    hwLabels = []    trainingFilelist = listdir('trainingDigits') #读取trainingDigits中的文件    m = len(trainingFilelist) #文件个数    trainingMat = zeros((m,1024))    for i in range(m):        filenameStr = trainingFilelist[i] #取文件的名字        fileStr = filenameStr.split('.')[0] #去掉文件名字后缀        classNumStr = int(fileStr.split('_')[0]) #取文件名对应的数字        hwLabels.append(classNumStr)        trainingMat[i,:] = img2Vector('trainingDigits\\%s' % filenameStr)    testFileList = listdir('testDigits')    errorCount = 0.0    mTest = len(testFileList)    for i in range(mTest):        fileNameStr = testFileList[i]        fileStr = fileNameStr.split('.')[0]        classNumStr = int(fileStr.split('_')[0])        vectorUnderTest = img2Vector('testDigits/%s' % fileNameStr)        classifierResult = classify0(vectorUnderTest,\                                     trainingMat,hwLabels,3)        print("The classifier came back with: %d, the real answer is: %d"\              % (classifierResult,classNumStr))        if (classifierResult != classNumStr):errorCount += 1.0    print("\nthe total number of error is: %d" % errorCount)    print("\nthe total error rate is: %f" % (errorCount/float(mTest)))

运行结果:

The classifier came back with: 6, the real answer is: 6The classifier came back with: 6, the real answer is: 6..The classifier came back with: 8, the real answer is: 8The classifier came back with: 1, the real answer is: 8the total number of error is: 13the total error rate is: 0.013742

最后：
kNN算法优化：

如图所示，如果k取5，通过计算计算距离比较，将绿球划分为蓝色分组，但是实际情况是绿球和红球之间更紧凑，将其划分到红色更准确一些，所以可以通过对得到的欧氏距离进行加权，是算法更加准确。
更多优化：http://blog.csdn.net/lxj1229022827/article/details/45557349