机器学习复习——决策树
来源:互联网 发布:java在线拍卖系统源码 编辑:程序博客网 时间:2024/05/17 01:02
决策树:
决策树中很重要的一点就是选择一个属性进行分枝,因此要注意一下信息增益的计算公式,并深入理解它。
信息熵的计算公式如下:
其中的n代表有n个分类类别(比如假设是2类问题,那么n=2)。分别计算这2类样本在总样本中出现的概率p1和p2,这样就可以计算出未选中属性分枝前的信息熵。
现在选中一个属性xi用来进行分枝,此时分枝规则是:如果xi=vx的话,将样本分到树的一个分支;如果不相等则进入另一个分支。很显然,分支中的样本很有可能包括2个类别,分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1*H1+p2*H2.,则此时的信息增益ΔH=H-H’。以信息增益为原则,把所有的属性都测试一遍,选择一个使增益最大的属性作为本次分枝属性。
优点:
计算量简单,可解释性强,比较适合处理有缺失属性值的样本,能够处理不相关的特征;
缺点:
容易过拟合(后续出现了随机森林,减小了过拟合现象);
0 0
- 机器学习复习——决策树
- 机器学习—决策树
- 复习机器学习算法:决策树
- 机器学习——决策树
- 《机器学习实战》—决策树
- 机器学习002—决策树
- 机器学习笔记——决策树学习
- 机器学习实战——决策树
- 《机器学习实战》——决策树
- 机器学习3——决策树总结
- 机器学习python实战——决策树
- 机器学习算法2——决策树
- 《机器学习实战》——决策树代码
- 机器学习笔记6——决策树
- 机器学习算法——决策树
- 《机器学习实战》——决策树
- 机器学习——决策树ID3
- 《机器学习》(周志华版)——决策树
- Eclipse中如何快速添加、删除jar包
- Android运用自定义控件实现闪烁字
- 开发团队如何完成一个项目
- 【解决phpmyadmin 访问卡慢等问题】 phpmyadmin无法查看数据表的结构
- MyEclipse内存溢出An internal error occurred during: "Validation". Java heap space
- 机器学习复习——决策树
- Spring jdbc 异常基类
- SVN 中创建Trunk、Branches、Tags 过程
- 大数据读书笔记(1)
- linux mkisofs命令制作光盘*.iso
- Python程序实现批量创建/重建空间索引
- Django 中的 WSGI
- 机器学习笔记(五)--贝叶斯统计
- SharedPreferences