决策树 逻辑回归 KNN 的原理

决策树：每个内部节点代表一种特征 叶子节点代表 一种分类。基于训练数据建立决策树的过程是 特征选取的过程，递归地根据特征的信息增益来选取信息增益较大的特征， 用这个特征来划分特征空间，  得到的特征空间来当做决策树的节点。这样的决策树生成算法叫 ID3算法，将ID3算法中的信息增益换成信息增益比 便是C4.5 算法，这两个算法的过程都是极大似然估计的过程。CART分类决策树 用的是 基尼指数（与信息熵类似，表征集合的确定性）来划分 特征空间。

为了防止过拟合，将生成的决策树进行剪枝 简化：建立损失函数 包含两部分 对训练数据的预测误差和 决策树的复杂程度。 从决策树的叶子节点 向上递归计算 使使损失函数最小的决策树。

逻辑回归：建立逻辑分布分类模型 用极大似然函数 估计参数

KNN：离目标点距离最近的K个 数据点来决定目标点的所属类型。三个基本要素是：距离函数（欧氏距离 曼哈顿距离） K值选取（交叉验证） 分类决策规定（多数表决）。K近邻的选取用 kd树结构