几个常用机器学习算法 - 决策树算法

本篇博客涉及到的信息论概念 - 熵和信息增益 - 可以参考这里。

1

决策树算法（Decision Tree）是从训练数据集中归纳出一组分类规则的过程。
实际操作中，与训练数据集不相矛盾的决策树可能有多个，也可能一个都没有；理想情况是找到一个与训练数据矛盾较小的决策树，同时也具有良好的泛化能力。

2

• 决策树结构：
  
  • 有向边
  • 节点
    -内部节点： 数据的特征
    -叶节点：数据的类别
• 决策树准则：每个实例都被一条路径覆盖，且仅被一条路径覆盖

3

决策树算法过程

• 特征选择
  
  • 决策树生成过程就是划分数据集的过程，合适地选取特征能帮助我们将数据集从无序数据组织为有序；
  • 有很多方法可以划分数据集，决策树算法根据信息论来度量信息；
  • 信息论中有很多概念，不同的决策树生成算法使用不同的信息论概念来进行特征选择。

• 决策树生成

  • 有诸如ID3, C4.5, CART等算法用于生成决策树；

  • ID3和CART4.5的差别在于用于特征选择的度量的不同
    -ID3使用信息增益进行特征选择
    -C4.5使用信息增益比进行特征选择
    -以上两个算法流程：迭代的寻找当前特征中最好的特征进行数据划分，直到所有特征用尽或者划分后的数据的熵足够小。

    ID3核心思想：信息增益越大说明该特征对于减少样本的不确定性程度的能力越大，也就代表这个特征越好。

    C4.5核心思想：某些情况（比如按照身份证号、信用卡号、学号对数据进行分类）构造的树层数太浅而分支又太多，而这样的情况对数据的分类又往往没有意义，所以引入信息增益比来对分支过多的情况进行适当“惩罚”。具体情景解释可见这篇博客

  • CART我还没了解过，暂不介绍

4

决策树生成算法得到的树对训练数据的分类很准确，但对未知数据的分类却没那么准确，容易过拟合；因为决策树考虑的特征太多，构建得太复杂。
所以我们需要对决策树进行剪枝：从已生成的树上裁掉一些子树或叶节点，并将其根节点或父节点作为新的叶节点，以此简化树。

剪枝算法很多，这里引入一种简单的：极小化决策树整体的损失函数。

设树 T 的叶节点个数为 |T|, t 是树 T 的叶节点，该叶节点有Nt个样本点，其中 k 类的样本点有Ntk个， k = 1,2,…,k, Ht(T)是叶节点 t 上的经验熵，α≥0为参数，决策树的损失函数可定义如下

Cα(T)=∑t=1|T|NtHt(T)+α|T|

而经验熵为

Ht(T)=−∑kNtkNtlogNtkNt

其中，为了简洁，令

C(T)=∑t=1|T|NtHt(T)=−∑t=1|T|∑k=1KNtklogNtkNt

所以，上面的损失函数可以记为

Cα(T)=C(T)+α|T|

各个符号定义如下：

• C(T) 表示模型对训练数据的预测误差，即拟合程度
• |T| 表示模型复杂度
• α控制以上两者之间的平衡
  
  • 当α确定时，树越大，与训练数据的拟合就越好，C(T)越小，但是树的复杂度也会上升，|T| 上升；而树越小，树的复杂度就越低，|T| 越小，但往往和训练数据的拟合程度不好，C(T) 又会上升
  • 较大的α使得生成较简单的树，较小的α使得生成较复杂的树，当α=0，就完全不考虑树的复杂度了，相当于不进行剪枝操作
  • 决策树生成只考虑提高信息增益来更好拟合训练数据，但决策树剪枝则通过优化损失函数来减少树的复杂度；可以说决策树生成学习的是局部模型，而决策树剪枝学习的是整体模型

剪枝算法流程

• 计算每个节点的经验熵

• 递归地从树的叶节点向上回缩：设一组叶节点
  回缩到父节点前后的整体树分别是TB和TA，其对应的损失函数值分别是Cα(TB)和Cα(TA)，如果

  Cα(TB)≥Cα(TA)

  那么将父节点变为新的叶节点，即剪枝

• 重复执行步骤2，直到不能再继续为止，得到损失函数最小的子树Tα

5

代码部分，先挖个坑。。。过段时间回来填

---

本篇博客参考自：
《我们为什么需要信息增益比，而不是信息增益？》
统计学习方法 - 李航