机器学习实战之K-邻近算法

k-邻近算法

        k-邻近算法采用测量不同特征值之间的聚类方法进行分类。

1 基本原理：

        存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处,通常*是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

2 k-邻近算法的一般流程

(1)收集数据：可以使用任何方法。
(2)准备数据：距离计算所需要的数值，最好是结构化的数据格式。
(3)分析数据：可以使用任何方法。
(4)训练算法：此步驟不适用于1 近邻算法。
(5)测试算法：计算错误率。
(6)使用算法：首先需要输入样本数据和结构化的输出结果，然后运行女-近邻算法判定输
入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

【

     (1)计算已知类别数据集中的点与当前点之间的距离；
     (2)按照距离递增次序排序；
     (3)选取与当前点距离最小的k个点；
     (4)确定前k个点所在类别的出现频率；
     (5)返回前k个点出现频率最高的类别作为当前点的预测分类。

】

3  简单实现

  （1）

from numpy import *
import operator
def createDataSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group, labels

导入数据集，并将数据点（1,1.1）归为A类，（0,0.1）归为B类

（2）

from numpy import *
import operator
from os import listdir
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

在这里先熟悉几个方法：

      1）shape[],实现对矩阵的长度的读取，shape[0]指的是读取矩阵第一维度的长度。

      2）argsort()，返回的是数组值从大到小的索引。比如：

           import numpy as np
           x=np.array([1,4,3,-1,6,9])

           x.argsort()

          则返回的结果是：array([3, 0, 2, 1, 4, 5], dtype=int64)

          也就是在x列表中-1最小，其索引为3，故结果中第一个元素是3.

     3）.iteritems()是迭代器函数，用于获取字典中的键值对；

     4）operator.itemgetter():用于获取对象的哪些维的数据，参数为一些序号（即需要获取的数据在对象中的序号）

           比如：

           a = [1,2,3] 
           >>> b=operator.itemgetter(1)      //定义函数b，获取对象的第1个域的值
           >>> b(a) 
           2 

     5）tile见博客

上述（2）代码是k邻近算法的具体实现，其中用于分类的输入向量是inX,输入的训练样本集为dataset，标签向量为labels,最后的参数k表示用于选择最近邻居数目。6-9行代码是两点间距离的计算，for循环实现的是确定前k个距离最小元素所在的主要分类，后面的代码是对元素进行排序。

 距离计算公式采用的是欧式距离公式：

           

                                                                                         

 接下来在python中输入classify0([0,0],group,labels,3),输出结果将是B，也就是说[0,0]被分到了B类。

201707281940持续更新~~~~~