KNN K~近邻算法笔记

K~近邻算法是最简单的机器学习算法。工作原理就是：将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似的数据的分类标签。一般来说，只提取样本数据集中前K个最相似的数据。通常K不大于20，最后选择K个最相似数据中出现次数最多的分类，最为新的数据分类。

但是K~近邻算法必须保存全部的数据集，如果训练数据集很大，必须使用打量的存储空间。此外，由于必须对数据集中每个数据集计算距离值，实际使用起来会非常耗时间。