《机器学习实战》第二章：k-近邻算法（1）简单KNN

收拾下心情，继续上路。

最近开始看Peter Harrington的《Machine Learning in Action》...

的中文版《机器学习实战》。准备在博客里面记录些笔记。

这本书附带的代码和数据及可以在这里找到。

这本书里代码基本是用python写的，而且经常用到numpy等一些常用的库。

这个时候当然是直接装个 anaconda 比较方便。IDE的话，pycharm是个不错的选择。

好了废话不多说，咱们开始吧。

第一章《机器学习基础》是些绪论，就跳过吧。从第二章《k-近邻算法》开始。

------------------------------------------------------------------------------------------------

k-近邻算法（k-nearest neighbors algorithm，KNN）

（1）是个【分类】算法。是个最简单、最基础的算法。

（2）基本思想：通过测量特征值之间的距离（欧氏距离）给数据进行分类。

（3）详细点儿说：

a.训练样本集中的每条数据都有一个标签

b.输入一条待分类的数据。把它的每个特征和样本集中数据对应的特征进行距离比较

c.选择最相似（距离最短）的前k条数据，看这k条数据哪个标签最多，就把待分类的数据分到哪个标签下。

（4）优点：精度高、对异常值不敏感

 缺点：复杂度高

 适用范围：数值型 / 离散型 数据

------------------------------------------------------------------------------------------------

第一个例子很简单。每条数据就2个特征（2维），就叫特征1和特征2好了。

然后每条数据配一个标签，标签的种类有2种：A和B。

第一步是导入数据，这个数据呢我们就直接从代码里拿到手，后面的例子会从文件里抠出来，而且会做些预处理。

#!/usr/bin/python#coding:utf-8from numpy import *import operatordef createDataSet():group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0,0.1]])labels = ['A', 'A', 'B', 'B',]return group, labels

作用很简单，就是把数据存在group里，把标签存在labels里。

要注意的是，group其实是个矩阵，它的类型是numpy包里的array。往后的数据集都是用矩阵，也就是array类型来表示。labels则是个常见的list类型。

group是个4*2的矩阵，代表有四条数据，每条数据有2维。接下来这段代码就是用于分类的函数。

def classify0(inX, dataSet, labels, k):dataSetSize = dataSet.shape[0]diffMat = tile(inX, (dataSetSize,1)) - dataSetsqDiffMat = diffMat**2sqDistances = sqDiffMat.sum(axis=1)distances = sqDistances**0.5sortedDistIndices = distances.argsort()classCount={}for i in range(k):voteIlabel = labels[sortedDistIndices[i]]classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1),reverse=True)return sortedClassCount[0][0]

解释一下。

classify0 接受四个参数：

（1）inX: 待分类的数据。例：[0,0]
（2）dataSet: 训练集矩阵。例：
    [[1.0, 1.1],
     [1.0, 1.0],
     [0.0, 0.0],
     [0.0, 0.1]]
（3）labels: 训练集对应的标签。例： ['A', 'A', 'B', 'B',]
（4）k: k邻近的k

第2行：shape 是 array的每一维的大小，比如上面那个矩阵，是4*2的，shape[0]就是4，也就是说dataSetSize是数据集的数据条数4。

第3行：tile() 作用是按行 / 列复制array。例：tile(inX, (4,1))将[0,0] 复制为：

    [[0, 0],
     [0, 0],
     [0, 0],
     [0, 0]]
再按矩对应元素阵减去dataSet，之后得到：

diffMat
    [[-1.0, -1.1],
     [-1.0, -1.0],
     [-0.0, -0.0],
     [-0.0, -0.1]]

第4~6行：矩阵的每一行，平方，求和，开方，求欧氏距离。分别得到：

sqDiffMat

    [[ 1.  ,  1.21],
     [ 1.  ,  1.  ],
     [ 0.  ,  0.  ],
     [ 0.  ,  0.01]]

sqDistances

    [2.21,  2.0,  0.0,  0.01]

distances

    [1.49, 1.41, 0.0, 0.1]

第7行：用 argsort 得到这四个距离的大小次序：[2, 3, 1, 0]。意思就是下标2的排第1，下标3的排第2，下标1的排第3，下标0的排第4

接下来就是统计标签。把距离最小的前k条数据的标签拿出来计数，并从大到小排序，决出最有可能的标签

classCount 是个字典，键是标签（A或B），值是标签的计数。

通后得到 classCount：{'A': 1, 'B': 2}

然后按值的大小排序，得到 sortedClassCount ：[('B', 2), ('A', 1)]

取 sortedClassCount[0][0] 就是 'B'

主函数：

if __name__ == "__main__":group,labels = createDataSet()print classify0([0, 0], group, labels, 3)