决策树
来源:互联网 发布:python netsnmp安装 编辑:程序博客网 时间:2024/06/05 23:09
基础
熵
如果X是一个离散型随机变量,取值空间为R,其概率分布为
其中,约定
熵用于描述一个一个随机变量的不确定性的数量。一个随机变量的熵越大,它的不确定性就越大。用通俗的话来来讲,一个随机变量的熵越大,它的各个取值的情况就越混乱,你越难猜中这个随机变量的取值。实际上,熵就是表示一个体系的混乱程度。反之,如果熵越小,这个体系就越纯,这正是本文要用到的性质。
直观上
有下表表示的数据集D:
表中的每一行是D中的一个对象,具体意思是,一个人的条件以及是否发给了这个人信用卡。可以利用这个表生成决策树:
……
这些决策树就可以用来对一个新的对象进行分类了。
可以看到,通过这个表可以生成很多决策树,我们希望得到最好的那个决策树,比如,针对上面生成的决策树,我们更喜欢第二个。决策树算法可以帮我们得到数据集D对应的最好的那棵决策树。
决策树算法
决策树算法的伪代码如下:
其中,D表示数据集,A表示属性集,T表示一个树节点。
伪代码把算法描述得很清晰,但其中提到的两个函数impurityEval-1和impurityEval-2以及两个函数计算结果的差值需要延伸一下。
impurityEval-1用于计算数据集D纯度,impurityEval-2用于计算数据集D通过属性Ai划分子集之后的纯度。通过前面“基础”部分,我们知道,一个系统的纯度(也就是混乱度)可以用熵来表示,于是有:
其中,
数据集D通过属性Ai划分子集之后的纯度可表示为:
其中,v是数据集D通过属性Ai分割后的子数据集的数目,
伪代码中12行和13行说,当impurityEval-1和impurityEval-2的差值小于个阈值时,递归停止,意思是说,用属性Ai划分数据集D让数据集变纯的效果不明显,继续分下去没有必要。impurityEval-1和impurityEval-2的差值还有个专门的名字,叫做信息增益,用公式表示就是:
本文首先介绍算法的核心基础,熵的概率,然后直观上展示了怎么从数据集生成决策树,最后介绍决策树算法本身。任何一个部分的介绍都是简略的,如果读者感兴趣,可以阅读文末的参考书籍。
参考资料:
《Web数据挖掘》第2版,Bing Liu 著, 俞勇 译
《统计自然语言处理》第2版,宗成庆 著
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 决策树
- 常用正则表达式
- ubuntu14.04 切换 python版本
- 利用Matlab设计滤波器(FDAT)
- 39.超文本标记语言HTML详解(下)
- java笔记--day09--抽象类(二)
- 决策树
- 51nod-1065
- AIM Tech Round 3 (Div. 2) C. Letters Cyclic Shift 贪心、字典序
- ssh整合-[Ljava.lang.String Date类型存入出现异常解决
- BZOJ1828: [Usaco2010 Mar]balloc 农场分配 贪心+线段树
- 常用linux命令(java开发)
- Java中的float和long
- django创建一个项目
- Hibernate之多对一