机器学习实战【1】（kNN）

本博客记录《机器学习实战》（MachineLearningInAction）的学习过程，包括算法介绍和python实现。

kNN算法

kNN算法计算输入的新数据与样本集中所有数据的距离，取其中距离最近（特征最相似）的k个数据，用其中出现次数最多的分类作为新数据的分类。

数据准备

通常使用的数据从外部导入，但为了了解数据格式，书中还给出了直接创建简单数据集的方法。

# 创建简单数据集，数据集用numpy中的ndarray数组存储，标签用list存储def createDataSet():    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])    labels = ['A', 'A', 'B', 'B']    return group, labels# 从文件中读取数据生成数据集def file2matrix(filename):    fr = open(filename)    arrayOfLines = fr.readlines()    numberOfLines = len(arrayOfLines)    retMat = zeros((numberOfLines, 3))    classLabelVector = []    index = 0    for line in arrayOfLines:        line = line.strip()        listFromLine = line.split('\t')        retMat[index, :] = listFromLine[0:3]        classLabelVector.append(int(listFromLine[-1]))        index += 1    return retMat, classLabelVector# 读取的数据集格式如下，数据中间用tab隔开40920   8.326976    0.953952    314488   7.153469    1.673904    226052   1.441871    0.805124    1

算法实现

def classify0(inX, dataSet, labels, k):    """    给定数据集以及输入数据，返回其kNN分类结果    inX -- 输入数据    dataSet -- 数据集    labels -- 标签集    k -- 算法参数    """    dataSetSize = dataSet.shape[0]    # 计算距离    diffMat = tile(inX, (dataSetSize, 1)) - dataSet    sqDiffMat = diffMat ** 2    sqDistances = sqDiffMat.sum(axis=1)    distances = sqDistances ** 0.5    # 距离排序    sortedDistIndices = distances.argsort()    # 字典存储k个最近邻数据中每个标签的分类次数，票数最多作为最后的分类    classCount = {}    for i in range(k):        voteIlabel = labels[sortedDistIndices[i]]        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)    return sortedClassCount[0][0]

使用算法进行分类

这种直接计算欧氏距离的方法有一个问题，数据特征中较大的数值在距离计算中会占更大的比例，于是在分类时要先将数据归一化。

# 数据归一化def autoNorm(dataSet):    minVals = dataSet.min(0)    maxVals = dataSet.max(0)    ranges = maxVals - minVals    normDataSet = zeros(shape(dataSet))    m = dataSet.shape[0]    normDataSet = dataSet - tile(minVals, (m, 1))    normDataSet = normDataSet / tile(ranges, (m, 1))    return normDataSet, ranges, minVals

最后，对算法进行应用，读取一个数据集测试分类准确率。

def datingClassTest():    # 测试集所占比例    hoRatio = 0.1    # 读取数据集    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')    # 数据归一化    normMat, ranges, minVals = autoNorm(datingDataMat)    m = normMat.shape[0]    numTestVecs = int(m*hoRatio)    errorCount = 0.0    for i in range(numTestVecs):        classifyResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 5)        print("preditc:%d, answer: %d" % (classifyResult, datingLabels[i]))        if(classifyResult != datingLabels[i]):            errorCount += 1.0    print("error rate:%.2f" % (errorCount / numTestVecs))

最后输出的错误率是0.04，分类效果还是不错的，kNN算法的缺点很明显，因为每次要计算新数据与所有数据的距离，所以无法事先训练，算法的时间复杂度比较高，同时因为要把整个数据集读入内存进行计算，使得空间复杂度也很高。优点是算法简单，易于理解。