KNN之手写数字识别

代码

1. '''
2. Created on Sep 16, 2010
3. kNN: kNearest Neighbors
5. Input:     inX: vector to compare to existing dataset (1xN)
6.             dataSet: size m data set of known vectors (NxM)
7.            labels: data set labels (1xM vector)
8.             k: number of neighbors to use for comparison (should be an odd number)
9.             
10. Output:    the most popular class label
12. @author: pbharrin
13. '''
14. from numpy import *
15. import operator
16. from os import listdir
18. def classify0(inX, dataSet, labels, k):
19.     dataSetSize = dataSet.shape[0]
20.     diffMat = tile(inX, (dataSetSize,1)) - dataSet
21.     sqDiffMat = diffMat**2
22.     sqDistances = sqDiffMat.sum(axis=1)
23.     distances = sqDistances**0.5
24.     sortedDistIndicies = distances.argsort()     
25.     classCount={}          
26.     for i in range(k):
27.         voteIlabel = labels[sortedDistIndicies[i]]
28.         classCount[voteIlabel] =classCount.get(voteIlabel,0) + 1
29.     sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
30.     return sortedClassCount[0][0]
32. def createDataSet():
33.     group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
34.     labels = ['A','A','B','B']
35.     return group, labels
37. def file2matrix(filename):
38.     fr = open(filename)
39.     numberOfLines = len(fr.readlines())          #get the number of lines in the file
40.     returnMat = zeros((numberOfLines,3))         #prepare matrix to return
41.     classLabelVector = []                       #prepare labels return   
42.     fr = open(filename)
43.     index = 0
44.     for line in fr.readlines():
45.         line = line.strip()
46.         listFromLine = line.split('\t')
47.         returnMat[index,:] =listFromLine[0:3]
48.         classLabelVector.append(int(listFromLine[-1]))
49.         index += 1
50.     return returnMat,classLabelVector
51.     
52. def autoNorm(dataSet):
53.     minVals = dataSet.min(0)
54.     maxVals = dataSet.max(0)
55.     ranges = maxVals - minVals
56.     normDataSet = zeros(shape(dataSet))
57.     m = dataSet.shape[0]
58.     normDataSet = dataSet - tile(minVals, (m,1))
59.     normDataSet = normDataSet/tile(ranges, (m,1))   #element wise divide
60.     return normDataSet, ranges, minVals
61.    
62. def datingClassTest():
63.     hoRatio = 0.50      #hold out 10%
64.     datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')        #load data setfrom file
65.     normMat, ranges, minVals =autoNorm(datingDataMat)
66.     m = normMat.shape[0]
67.     numTestVecs = int(m*hoRatio)
68.     errorCount = 0.0
69.     for i in range(numTestVecs):
70.         classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
71.         print "the classifier came back with: %d,the real answer is: %d" % (classifierResult,datingLabels[i])
72.         if (classifierResult !=datingLabels[i]): errorCount += 1.0
73.     print "the total error rate is: %f" % (errorCount/float(numTestVecs))
74.     print errorCount
75.     
76. def img2vector(filename):
77.     returnVect = zeros((1,1024))
78.     fr = open(filename)
79.     for i in range(32):
80.         lineStr = fr.readline()
81.         for j in range(32):
82.             returnVect[0,32*i+j] = int(lineStr[j])
83.     return returnVect
85. def handwritingClassTest():
86.     hwLabels = []
87.     trainingFileList = listdir('trainingDigits')            #load the training set
88.     m = len(trainingFileList)
89.     trainingMat = zeros((m,1024))
90.     for i in range(m):
91.         fileNameStr = trainingFileList[i]
92.         fileStr = fileNameStr.split('.')[0]     #take off .txt
93.         classNumStr = int(fileStr.split('_')[0])
94.         hwLabels.append(classNumStr)
95.         trainingMat[i,:] =img2vector('trainingDigits/%s' %fileNameStr)
96.     testFileList = listdir('testDigits')        #iterate through the test set
97.     errorCount = 0.0
98.     mTest = len(testFileList)
99.     for i in range(mTest):
100.         fileNameStr = testFileList[i]
101.         fileStr = fileNameStr.split('.')[0]     #take off .txt
102.         classNumStr = int(fileStr.split('_')[0])
103.         vectorUnderTest = img2vector('testDigits/%s' %fileNameStr)
104.         classifierResult = classify0(vectorUnderTest,trainingMat, hwLabels, 3)
105.         print "the classifier came back with: %d,the real answer is: %d" % (classifierResult,classNumStr)
106. #        if (classifierResult != classNumStr):
107. #            print "the classifier came back with: %s, the real answer is: %d" %(fileNameStr, classNumStr)
108.         if (classifierResult !=classNumStr): errorCount += 1.0
109.     print "\nthe total number of errorsis: %d" % errorCount
110.     print "\nthe total error rate is:%f" % (errorCount/float(mTest))
111.     
112. handwritingClassTest()

---

结果

1. thetotal number of errorsis: 11
3. the total error rate is:0.011628