十大算法之-------Knn理解

(）::：1.对Knn原理的理解：
存在一组已知标签的数据集（训练集），将没有标签的数据输入，将新数据的每个特征与训练集中的数据进行比较，比较的原则是使用简单的欧氏距离。然后选出距离最短的前K个数据（K一般不大于20），在这K个数据中，出现频次最多的标签就是该输入数据的分类。

2.实际操作
a.在操作数据之前首先把数据中的特征进行归一化，否则特征之前数据值差异太大会影响最终的欧氏距离，从而最终影响分类结果。
特征归一化的值：newValue=(oldValue-min)/(max-min)
其中：oldValue是这个特征值原来的数值，max和min分别对应这个特征在数据集中的最大值和最小值。

b.算法具体过程：
归一化特征；
计算距离；
距离排序；
选出距离最小的前K个；
计算这K个特征中每个标签出现的频次；
返回频次最高的标签；

3.可以复用的代码
a).Knn分类器:

def classify0(inX,dataSet,labels,k):    dataSetSize=dataSet.shape[0]    diffMat=np.tile(inX,(dataSetSize,1))-dataSet    sqDiffMat=diffMat**2    print sqDiffMat    sqDistances=sqDiffMat.sum(axis=1)    print sqDistances    distances=sqDistances**0.5    sortedDistIndicies=distances.argsort()    classCount={}    for i in range(k):        voteIlabel=labels[sortedDistIndicies[i]]        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1#read the value of the key in dict    sortedClassCount=sorted(classCount.iteritems(),                                key=operator.itemgetter(1),reverse=True)    return sortedClassCount[0][0]#return the most frequenst one

b).解析文本数据（读取文件中的数据到矩阵中）

def file2matrix(filename):    fr=open(filename)    arrayOfLines=fr.readlines()#read the context of each line    numberOfLines=len(arrayOfLines)    returnMat=np.zeros((numberOfLines,3))    classLabelVector=[]    index=0    for line in arrayOfLines:        line=line.strip()#remove the space at the start(end) of each line        listFromLine=line.split('\t')#remove th '\t',make it to []        returnMat[index,:]=listFromLine[0:3]        classLabelVector.append(int(listFromLine[-1]))        index +=1    return returnMat,classLabelVector

c).归一化特征

def autoNorm(dataSet):    minVals=dataSet.min(0)    maxVals=dataSet.max(0)    ranges=maxVals-minVals    normDataSet=np.zeros(np.shape(dataSet))    m=dataSet.shape[0]#row    normDataSet=dataSet-np.tile(minVals,(m,1))    normDataSet=normDataSet/np.tile(ranges,(m,1))    return normDataSet,ranges,minVals

总结：千里之行，始于足下