KNN学习及实现

目录：

一、KNN

K紧邻算法
三个基本要素：

1. 距离的度量
2. k值的选择
3. 分类决策规则

KNN优点

1. 简单，易于理解，易于实现，无需估计参数，无需训练
2. 特别适合于多分类问题(multi-modal,对象具有多个类别标签)， kNN比SVM的表现要好。
3. 适合对稀有事件进行分类

KNN缺点

1. 该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。
2. 对于样本容量大的数据集计算量比较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。
3. k值大小的选择
4. KNN每一次分类都会重新进行一次全局运算

KNN算法应用领域

文本分类、模式识别、聚类分析，多分类领域
本质：实质上是对应于特征空间的划分
引：一直兔子帮你理解KNN：https://www.joinquant.com/post/2227?f=zh

二、kd树

kd树是一种对k维空间中的实例点进行存储以便对其进行快速检测的树形数据结构。kd树是二叉树，表示对k维空间的一个划分。构造kd树相当于不断用垂直于坐标轴的超平面将k维空间切分，构成一系列k维超矩形区域。kd树的每个节点对应于一个k维超矩形区域。
引：kd树：https://www.joinquant.com/post/2627