【机器学习读书笔记】 k近邻算法（KNN）

一、K-近邻算法

kNN属于监督学习中的分类算法。与后面将要学习的决策树都属于结果确定的分类算法，数据实例最终会被明确划分到某个分类中。还有一种分类算法将不能完全确定数据实例应该划分到某个类，或者只能给出数据实例属于某个分类的概率。

算法思路

• 监督学习就一定存在训练样本集。训练样本中每个样本都有已知的分类标签。也就是说我们知道样本集中的每一个样本与所属分类的对应关系。输入没有分类标签的新数据，将新数据的每个特征与训练数据中的特征进行比较，并计算出欧几里得距离，按照距离从小到大进行排序，选出较小的K个值。这也就是K的来源。然后检索这K个数据样本的分类情况，以其中出现次数最多的类别作为最终的分类结果。通常K是不大于20的整数
• 归一化 。不一样的特征值的实际大小不同，但是一般情况下，他们的重要程度是相同的。所以在训练学习之前需要对数据进行归一化。一般归一化到[0,1] 或者 [-1.1]. 比如使用下面的公式newVal = (oldVal - min) / (max - min)

优点 vs 缺点

• 优点。精度高、对异常值不敏感、无数据输入假定
• 缺点。计算复杂度高、空间复杂度高。无法保存训练结果，每次都需要重新训练学习

TIPS

• 适用数据范围：数值型和标称型