KNN最近邻

概要：

1. 是一种分类算法。
2. 给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。

 

应用场景：

   分类。

 

优点：

1. 简单，易于实现，无需估计参数，无需训练。
2. 新样本添加无需训练，是在线更新。

 

缺点：

1. KNN算法是懒惰学习方法，分类的速度比积极学习算法慢得多。
2. 样本数量不平衡时，容易误分类。
3. 计算量较大。

 

 

K近邻模型由3个基本要素——距离度量、k值的选择和分类决策规则决定。

 

 

距离度量一般使用L-2欧式距离来计算。

 

k值的选择： 如果选择较小的k值，“估计误差“会增大，预测结果会对近邻的实例点非常敏感，假如近邻的实例点中存在噪声，那么噪声也会对预测产生负面影响。

如果选择较大的k值，”近似误差“会增大，这时与输入实例较远的（不相似的）训练实例也会对预测起作用，使预测发生错误。

在应用中，k值一般取一个比较小的数值。通常采用交叉验证 法来选取最优的k值。

 

分类决策规则：通常采用多数表决，即由输入实例的k个近邻的训练实例中的多数类决定输入实例的类。

 

kd树是提高k近邻搜索的效率的方法。

 

kd树的构建方法：

 

举一个简单直观的实例来介绍k-d树构建算法。假设有6个二维数据点{(2,3)，(5,4)，(9,6)，(4,7)，(8,1)，(7,2)}，数据点位于二维空间内，如下图所示。为了能有效的找到最近邻，k-d树采用分而治之的思想，即将整个空间划分为几个小部分，首先，粗黑线将空间一分为二，然后在两个子空间中，细黑直线又将整个空间划分为四部分，最后虚黑直线将这四部分进一步划分。

    6个二维数据点{(2,3)，(5,4)，(9,6)，(4,7)，(8,1)，(7,2)}构建kd树的具体步骤为：

1. 确定：split域=x。具体是：6个数据点在x，y维度上的数据方差分别为39，28.63，所以在x轴上方差更大，故split域值为x；
2. 确定：Node-data = （7,2）。具体是：根据x维上的值将数据排序，6个数据的中值(所谓中值，即中间大小的值)为7，所以Node-data域位数据点（7,2）。这样，该节点的分割超平面就是通过（7,2）并垂直于：split=x轴的直线x=7；
3. 确定：左子空间和右子空间。具体是：分割超平面x=7将整个空间分为两部分：x<=7的部分为左子空间，包含3个节点={(2,3),(5,4),(4,7)}；另一部分为右子空间，包含2个节点={(9,6)，(8,1)}；

   如上算法所述，kd树的构建是一个递归过程，我们对左子空间和右子空间内的数据重复根节点的过程就可以得到一级子节点（5,4）和（9,6），同时将空间和数据集进一步细分，如此往复直到空间中只包含一个数据点。

   与此同时，经过对上面所示的空间划分之后，我们可以看出，点(7,2)可以为根结点，从根结点出发的两条红粗斜线指向的(5,4)和(9,6)则为根结点的左右子结点，而(2,3)，(4,7)则为(5,4)的左右孩子(通过两条细红斜线相连)，最后，(8,1)为(9,6)的左孩子(通过细红斜线相连)。如此，便形成了下面这样一棵k-d树：

 

 

 

 

 

kd树的最近邻算法：

 

输入：已构造的kd树，目标点x；

输出：x 的最近邻

算法步骤如下：

1. 在kd树种找出包含目标点x的叶结点：从根结点出发，递归地向下搜索kd树。若目标点x当前维的坐标小于切分点的坐标，则移动到左子结点，否则移动到右子结点，直到子结点为叶结点为止。
2. 以此叶结点为“当前最近点”。
3. 递归的向上回溯，在每个结点进行以下操作：
   （a）如果该结点保存的实例点比当前最近点距离目标点更近，则更新“当前最近点”，也就是说以该实例点为“当前最近点”。
   （b）当前最近点一定存在于该结点一个子结点对应的区域，检查子结点的父结点的另一子结点对应的区域是否有更近的点。具体做法是，检查另一子结点对应的区域是否与以目标点为球心，以目标点与“当前最近点”间的距离为半径的圆或超球体相交。
   如果相交，可能在另一个子结点对应的区域内存在距目标点更近的点，移动到另一个子结点，接着，继续递归地进行最近邻搜索；
   如果不相交，向上回溯。
4. 当回退到根结点时，搜索结束，最后的“当前最近点”即为x 的最近邻点。