机器学习实战第一课之k近邻算法 KNN

KNN

优点：精度高、对异常值不敏感，无数据输入假定。

缺点：计算复杂度高、空间复杂度高。

适用数据范围：数值型和标称型。

算法思想：

对未知类别属性的数据集中的每个点一次执行以下操作：

1.计算已知类别数据集中的点和当前点之间的距离

2.按照距离递增排序

3.选取与当前点距离最小的k个点

4.确定前k个点所在类别的出现频率

5.返回前k个点出现频率最高的类别作为当前点的预测分类

Python实现

def classify0(inX, dataSet, labels, k):    dataSetSize = dataSet.shape[0]    diffMat = tile(inX, (dataSetSize,1)) - dataSet  #计算距离    sqDiffMat = diffMat**2    sqDistances = sqDiffMat.sum(axis=1)    distances = sqDistances**0.5    sortedDistIndicies = distances.argsort()         classCount={}              for i in range(k):        voteIlabel = labels[sortedDistIndicies[i]]     #选择距离最小的k个点        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)  #排序    return sortedClassCount[0][0]

classify0()函数有4个输入参数：用于分类的输入向量是inX，输入的训练样本集是dataSet,标签向量为labels，最后的参数k表示用于选择最近邻的数目，其中标签向量的元素数目和矩阵dataSet的行数相同。

上面的实现过程使用的欧式距离，计算xA和xB之间的距离。

将文本记录到转换Numpy的解析程序

def file2matrix(filename):    fr = open(filename)    numberOfLines = len(fr.readlines())         #得到文件行数    returnMat = zeros((numberOfLines,3))        #创建返回的NumPy矩阵    classLabelVector = []                           fr = open(filename)    index = 0    for line in fr.readlines():        line = line.strip()              #解析文件数据到列表        listFromLine = line.split('\t')        returnMat[index,:] = listFromLine[0:3]              classLabelVector.append(listFromLine[-1])        index += 1    return returnMat,classLabelVector

准备数据：归一化数值

如果将数值取值范围处理为0到1之间

newValue = (oldValue - min) / (max-min)

def autoNorm(dataSet):    minVals = dataSet.min(0)    maxVals = dataSet.max(0)    ranges = maxVals - minVals    normDataSet = zeros(shape(dataSet))    m = dataSet.shape[0]    normDataSet = dataSet - tile(minVals, (m,1))    normDataSet = normDataSet/tile(ranges, (m,1))   #element wise divide    return normDataSet, ranges, minVals