决策树(decisions tree)和ID3算法
来源:互联网 发布:nfc世界网络银行商城 编辑:程序博客网 时间:2024/05/22 07:57
决策树和决策规则是解决实际应用中分类问题的强大的数据挖掘方法。
首先,介绍一下分类的基本原理:
分类是一个学习函数的过程,该函数把数据项映射到其中一个预定义的类中。若一个样本包含属性值向量和一个相应的类,则基于归纳学习算法的每个分类就指定为该样本集的输入。归纳学习的目标是构建一个分类模型,也成为分类器,它可以根据有效的属性输入值预测某个实体所属的类。
决策树定义:每一个结点是一个decision,叶子结点是最终的决定。
如图简单示意,决策树可以被用来作为分类器
决策树易于被理解,即使对于非技术人员
在一元树中,对于每个内部节点,检验函数都只使用一个属性进行检验。结点的输出分支对应于该节点的所有可能的检验结果。
那么我们如何能够从一个数据集中构造决策树?
初步思路为用随机的splitting plane来分割数据集中的点
如右图
找到更智能的分割方法
引入entropy熵其中n是需要分成的类个数
fS (yi )是第yi的类在S中的频率。
ID3算法使分割后的子集的熵尽可能小,使entrogy gain尽可能大
其中fS (Ai )是Ai占S的频率,SAi是S的按A分割的子集之一
ID3算法的缺点:由ID3构建成的决策树对噪音敏感
进阶的算法还有C4.5和C5算法等
对于这种自上而下的决策树生成算法,最重要的决策是树节点属性的选择。
ID3和C4.5算法的属性选择基准都是使样本中的信息熵最小化。
- 决策树(decisions tree)和ID3算法
- 决策树(decisions tree)和ID3算法
- (决策树)ID3算法
- 决策树算法详解(ID3)
- 决策树(一)ID3算法
- 分类算法-----决策树(ID3)算法原理和Python实现
- 整理--决策树算法:ID3和C4.5
- 整理--决策树算法:ID3和C4.5
- 决策树算法:ID3和C4.5
- ID3和C4.5决策树算法总结
- python实现决策树(ID3算法)
- Python 决策树算法(ID3 & C4.5)
- 机器学习方法:决策树(一):ID3算法
- ID3决策树算法(python实现)
- 决策树之ID3算法(转)
- 决策树(ID3算法)Python实现
- 决策树ID3算法(C++实现)
- 决策树之id3算法
- 软件设计模式系列之二 FACTORY METHOD(工厂方法)
- JQuery操作Dom
- 欧拉函数
- hdu 4027 Can you answer these queries? 线段树 懒惰标记 单点更新妙用
- 从微信谈起,如何优化互联网APP心跳机制
- 决策树(decisions tree)和ID3算法
- uva 11461(水题)
- WINCE音量设置(系统音按键音)
- JQuery基本过滤选择器与表单对象过滤器
- 怎么在vs2005中加入wince5 模拟器
- AsyncQueryHandler学习
- 空(标识)接口serializable
- 为什么要有Serializable
- AsyncTask原理