ML—knn与kd树

华电北风吹
天津大学认知计算与应用重点实验室
最后修改日期：2015/8/6

k近邻是一种特别简单的有监督学习算法。给定一个带标签的训练数据集，从中选择与预测样本最近的k个训练样本，用这k个样本投票决定预测样本标签。
k近邻法三要素：距离度量，k值选择和分类决策规则

为了提高k近邻搜索效率，比较常用的就是线性扫描和kd树(二叉树)
kd树构造：对每个维度的特征依次寻找中位数划分子集，并以此中位数作为节点
代码：
pass
kd树搜索代码：
主要就是舍弃当前兄弟节点与当前圆没有相交的分支，减少搜索量(这里判断交集的时候，只需要依据父节点划分所依据的那一维度的值即可)
代码
pass