机器学习实战——k-近邻算法（KNN）

• k-近邻算法(KNN)概述
  简单的说，k-近邻算法采用测量不同特征值之间的距离方法进行分类，它是一个分类算法。

  k-近邻算法 优点：精度高、对异常值不敏感、无数据输入假定。 缺点：计算复杂度高、空间复杂度高。 适用数据范围：数值型和标称型。

• k-近邻算法原理
  存在一个样本训练集，并且样本集中每个数据都存在分类标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数，最后选择k个最相似数据中出现次数最多的分类作为新数据的分类。

• 示例：电影题材分类

电影名称 打斗镜头 接吻镜头 电影类型 California man 3 104 爱情片 He’s Not Really into Dudes 2 100 爱情片 Beautiful woman 1 81 爱情片 Kevin Longblade 101 10 动作片 Robo Slayer 3000 99 5 动作片 Amped II 98 2 动作片 Titanic 18 90 ？

# 电影分类器    def classfy_movie(self):        # 训练集-特征        group = array([            [3, 104],            [2, 100],            [1, 81],            [101, 10],            [99, 5],            [98, 2]])        # 训练集-结果        labels = ['A', 'A', 'A', 'B', 'B', 'B']        # 获取训练集一维数量，即训练集包含的数据条数        data_set_size = group.shape[0]        # 待分类电影特征向量        new_movie = [18, 90]        # 获取类似于[x-x1,y-y1]的矩阵        diff_mat = tile(new_movie,(data_set_size,1)) - group        # 求上述矩阵的平方        sq_diff_mat = diff_mat ** 2        # 求每个元素的和，类似于(x-x1)^2+(y-y1)^2        sq_distance = sq_diff_mat.sum(axis=1)        # 开根号，求出距离，利用了欧式距离公式        distance = sq_distance ** 0.5        # 所得数组是按数据从小到大排列的元素索引        sorted_distances = distance.argsort()        class_count = {}        for i in range(3):            # 按距离从小到大排列依次取出特征所对应的目标变量即电影分类            vote_label = labels[sorted_distances[i]]            # 对目标变量出现的次数进行统计            class_count[vote_label] = class_count.get(vote_label,0) + 1        # 对目标变量数组按从大到小进行排列        sorted_class_count = sorted(class_count.iteritems(),                               key=operator.itemgetter(1),reverse=True)        # 输出出现次数最多的目标变量        print sorted_class_count[0][0]