近邻分类器

最近邻分类器（Nearest Neighbor Classifier）

      用图片分类举个例子（最然这种算法对图片分类的效果并不好）：给定一个图片数据集，其分为训练集和测试

集。最近邻算法其实并没有一般机器学习算法的流程如初始化参数，训练拟合等等。最近邻算法的实质便是将测试集

中的图片数据与训练集中的图片数据逐一进行比较。寻找到跟这个测试数据最相近的训练数据所对应的标签，这个所

得到的标签便是测试数据的分类类别。

当然这里所谓最接近有很多度量方式，这里便介绍两种基于距离的方式：

①将测试图片数据与训练集中的图片数据逐个像素相减然后取绝对值，然后累加。

                                     

                                                  

②将测试图片数据与训练集中的图片数据逐个像素相减然后计算均方差，这种便是基于欧氏距离的。

                                                                               

K近邻分类器（k - Nearest Neighbor Classifier）

K近邻分类器与最近邻分类器的差别并不大，K近邻分类器只是将测试数据与训练数据的最相近的K个训练数据所对应

的标签选出来。得出K个标签到底改选那个类别作为此次分类的类别呢？民主原则，投票。这K个标签中哪个类别所对

应的票数多哪个胜利。

K近邻分类器相对于最近邻分类器的优点：

K近邻分类器更像是一个能倾听他人意见的人，最近邻分类器更像是一个专断的人。在大多数情况下，K近邻分类器

相对于最近邻分类器有更强的抗干扰能力，泛化性能更好。较高的k值具有平滑效果，使分类器更能抵抗离群值。