knn算法----近朱者赤，近墨者黑

K近邻(kNN，k-NearestNeighbor)分类算法基本思想是：如果一个样本在特征空间中的k个最相似，也就是特征空间中k个最邻近的样本大多数属于某一个类别，则该样本也属于这个类别。类似与古话：近朱者赤，近墨者黑，背后自然也蕴藏着物以类聚，人以群分的思想！

算法步骤：

1.对数据进行归一化处理

2.求每个测试样本基于训练样本的k个最近临样本

3.k个最近临样本所属类别中最大的一个即位测试样本的类别。

优点：

1.容易理解，易于分类

2.适合多类别的分类问题

缺点：

1.每个测试样本需要与所有训练样本进行求距离，计算量大

2.当各类样本不平衡时，测试结果可能会趋向与样本数量多的那一类。

k值的选择：

k值过小，得到的近临数太少，使得分类精度低，同时放大了噪声的干扰；k值过大，当各类样本不平衡时，测试结果可能会趋向与样本数量多的那一类。k值的选择一般小于训练样本的平方根。

实例：

《机器学习实战》一书中手写数字识别例子：

训练样本: 32*32的0，1文本，每个文本代表一个手写数字，文本名中包含该文本所属的数字类别。点击下载

测试样本：同训练样本

代码：

from numpy import *import operatorimport osdef ReadData(trainDir, testDir):trainFileList = os.listdir(trainDir)testFileList = os.listdir(testDir)numSamples = len(trainFileList)trainX = zeros((numSamples, 1024)) trainY = []for i in xrange(numSamples):fileName = trainFileList[i]trainX[i, :] = ReadImgData(trainDir + fileName) label = int(fileName.split('_')[0])trainY.append(label)numSamples = len(testFileList)testX = zeros((numSamples, 1024))testY = []for i in xrange(numSamples):fileName = testFileList[i]testX[i, :] = ReadImgData(testDir + fileName)label = int(fileName.split('_')[0])testY.append(label)return trainX, trainY, testX, testY#ReadImgData读取每个文本内容def ReadImgData(fileName):row = 32col = 32fileX = zeros((1, row*col))fileFp = open(fileName)for i in xrange(row):lineTemp = fileFp.readline()for j in xrange(col):fileX[0, i*row + j] = int(lineTemp[j]) return fileXdef knn(testX, trainX, trainY, k):numSamples = trainX.shape[0]diff = tile(testX, (numSamples, 1)) - trainX squareDiff = diff ** 2squareDist = sum(squareDiff, axis = 1)dist = squareDist ** 0.5sortedDist = argsort(dist)classCount = {}for i in xrange(k):voteLabel = trainY[sortedDist[i]]classCount[voteLabel] = classCount.get(voteLabel, 0) + 1maxCount = 0for key, value in classCount.items():if value > maxCount:maxCount = valuemaxIndex = keyreturn maxIndexprint "******start******"trainDir = './trainingDigits/'testDir = './testDigits/'trainX, trainY, testX, testY = ReadData(trainDir, testDir)print "******Data End******"sumSamples = testX.shape[0]right = 0for i in xrange(sumSamples):label = knn(testX[i], trainX, trainY, 3)#print "label = %d" % labelif label == testY[i]:    right += 1print "*****Test End******"print 'right = %d' % rightrate = float(right) / sumSamplesprint 'rate = %f' % rate

代码中ReadData读取样本目录中的数据，ReadImgData读取单个文本的数据，knn实现测试算法。