机器学习笔记（八）决策树

一、基本流程

决策树是一种常见的机器学习方法。

一般的，一颗决策树包含一个根结点、若干内部结点和若干叶结点，叶结点对应决策结果，其他每个结点对应于一个测试属性。

决策树的生成是一个递归过程，有三种情况会导致递归返回：1.当前结点包含的样本全属于同一类别，无须划分。2.当前属性集为空，或是所有样本在所有属性上取值相同，无法划分。3.当前结点包含的样本集合为空，不能划分。

二、划分选择

决策树学习的关键是如何选择最优划分属性，一般而言划分过程不断进行，我们希望决策树的分支节点所包含的样本尽可能属于同一类别，即结点纯度越来越高。

 “信息熵”是度量样本集合纯度最常用的一种指标。信息熵越小纯度越高。

信息增益可以算出某属性a来进行划分所获的纯度越大。

在实际中，信息增益准则对可取数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，可以使用增益率来选择最优划分属性。

增益率对可取值数目较少的属性有所偏好，因此，并不是直接选择增益率最大的候选划分属性，而是使用了一个启发式：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

也可使用基尼指数来选择划分属性，基尼指数越小，越优。

三、剪枝处理                                                                                                                为了减少过拟合的现象。

决策树剪枝的基本策略有预剪枝和后剪枝。

预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点。

后剪枝则是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能的提升（可采用留出法验证），则将该子树替换为叶结点。   

根据奥卡姆剃刀原则，一般所有决策树都需要进行剪枝。

四、连续与缺失值

在处理连续值时的处理办法与属性值缺失值得方法。