ID3与C4.5的区别

无论是网络上还是任何一本入门级机器学习教材上面都对ID3和C4.5的内容进行了详细的介绍。在此不多加赘述，只简单归纳下两者之间的区别。严格说来，C4.5其实不是某一种特定的决策树算法，而是针对ID3的缺陷进行改进的一系列算法。

1.C4.5可以处理连续性属性，而ID3不可以。

2.ID3通过信息增益来选择属性，而C4.5通过信息增益率来选择属性，这样就避免了ID3偏向选择值多的那些属性的缺陷。

3.C4.5可以处理缺少属性值的训练样例，而ID3不可以。

4.C4.5支持规则后修剪，而ID3不支持。Decision Tree很容易Overfitting，剪枝能够避免决策树无限制增长，避免过度拟合训练数据。C4.5支持规则后修剪。在这里规则后修剪，又可分为两种情况，一种是使用与训练集不相交的验证集，另外一种是不使用验证集只使用训练集的悲观估计(Pessimistic estimate)。