k-近邻算法

k-近邻法(k-nearest neighbor, k_NN) 是一种基本分类与回归方法.

kNN的输入为实例，输出为实例的类别. kNN假设定给一个训练数据集，其中的实例类别已经给定. 分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测. 实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型“.

kNN的三个要素是： k的选择、距离度量及分类决策规则.

通常选择交叉验证来选取最合适的k值.