机器学习之-knn-具体怎么实现与应用

1、定义：k-近邻算法算法采用测量不同特征值之间的距离方法进行分类。

--解释：比如要对一个电影分类，就是要把这个电影分为哪种题材的电影，比如是武侠题材还是爱情题材，用k-近邻方法去分类的话，首先得得到要分类的电影的特征值，分类是在特征空间上进行的。k-近邻不需要像其它机器学习算法那样有一个学习的过程，你只需要给出一大堆电影，然后分别找出这些电影的特征值，比如电影A中打斗场景的次数、接吻次数作为特征，找出所有电影的这些特征的特征值，这就可以了，当给出一个新的电影时，同样的，在这个电影里找出这两个特征的特征值，并计算这两个特征的特征值到前面提到的已经给出的电影集的特征值的距离，然后对这个距离进行排序，找到距离最近的k个特征值，并根据k个特征值对应的电影的标签（是武侠还是爱情）用多数表决的方法决定这个新电影时武侠还是爱情题材。

2、k-近邻算法的优缺点及适用范围：

优点：精度高、对异常值不敏感，无输入数据假定。

缺点：计算复杂度高、空间复杂度高

适用范围：数值型和标称型

3、k-近邻算法的一般流程：

a）收集数据：可以使用任何方法。意思是原始数据（未经过处理的）的采集。

b）准备数据：距离计算所需要的数值，最好是结构化的数据格式。意思是将采集到的数据加载到程序中，转变为算法可以使用的数据格式（结构）。具体的，就是获得每个样本的所有特征值及样本对应的标签。在这里需要注意一点，就是对所有特征都进行归一化。

c）分析数据：可以使用任何方法。具体的就是将所有特征值都展示出来，用图展示出来，从而可以分析特征值的分布以及哪些特征值比较有用。

d）训练算法：此步骤不适用于k-近邻算法。

e）测试算法：计算错误率。

f）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

4、k-近邻算法的核心：

就是计算特征值之间的距离，然后选择距离最小的k个样本对应的标签，然后在k个标签里以多数表决的形式选出出现次数最多的标签作为输入的新的样本的标签。