决策树的创建

决策树的选取规则就是使得不纯度降低，或降低混乱程度的过程

信息熵的定义： 

目前有三种算法

ID3算法—信息增益：

信息增益 = 花分前信息熵 - 划分后信息熵

C4.5算法—信息增益比(类似惩罚项)：

信息增益比 = 信息增益 * 1/系数 * 。系数定义如下：

 

CART算法(分类树)—基尼系数：

基尼指数(基尼不纯度):表示在样本集合中一个随机选中的样本被分错的概率。