从决策树到随机森林--小结

决策树算法接触了三种，ID3，C4.5，CART。
1. ID3采用信息增益来选择特征，算法比较基础也简单，缺点是容易过拟合，不能适应连续性输入。
2. C4.5采用信息增益率来选择特征，能应对连续性输入了。
3. CART用基尼指数来选择特征。

值得一提的是，sklearn有关决策树的库中，默认是用CART，可选ID3，但是没有看见C4.5的相关可选值。（在随机森林里也是这样）

1. 随机森林。随机体现在样本和特征的选择上，有放回的随机选择和样本量相同数量的样本，随机在N个特征中选择n个特征，再从n个特征里计算出准确率最高的那个，作为当前节点的特征。这样做的好处是不必单独考虑测试集，因为测试集已经体现在算法里的，由于重复的采样，每棵树大约有三分之一的样本不会被选择，这样可以有效避免过拟合。树与树之间会有一定的重合，可以提高算法的精度。