《统计学习方法》笔记(5):决策树
来源:互联网 发布:iface102下载数据 编辑:程序博客网 时间:2024/06/03 15:33
决策树的主要算法在20世纪80年代就已提出,有完整的理论体系。本文依然从基本原理、应用场景、优点和缺点等四个方面对该算法进行分析。
1、基本原理
决策树是一种基本的分类与回归方法,可以将其理解为一连串的if-then规则集合。
构建一棵决策树一般要经过三个步骤:特征参量的选择、决策树的生成以及决策树的剪枝。
主要的决策树算法有ID3、C4.5和CART算法,这三个算法的主要不同点在于:1)ID3和C4.5生成树中每个节点可以有多个子节点,而CART算法生成的是二叉树,每个节点仅有不超过两个子节点。2)三个算法用来判断树分裂的指标各不相同,ID3采用信息增益,C4.5采用信息增益比,而CART算法采用Gini指数。
2、应用场景
决策树可以应用于回归、分类等多个领域。一般的,我们希望将决策树应用于需要进行知识探索的领域。例如,营销人员想知道哪个因素是最能够影响客户购买的,那么给他一棵决策树就远好过给他一个人工神经网络。在决策树中,他可以直观的发现他想要的决策信息。
3、优点
决策树的优点是易于理解,能够给分析和决策人员提供直观的信息。如果使用组合的随机森林和GBDT等方法,则其预测的准确率也会大大提升,实际应用非常广泛。
4、缺点
该算法的缺点在于不能够增量训练,每次有新的数据加入时,都必须重新训练。因此不太适合垃圾邮件过滤等训练数据持续变化的场景。
此外,如果用单棵的决策树进行分类,很可能会出现“过拟合”现象;导致训练集样本分类正确率很高,但测试集样本的分类正确率相当低。一种方法是进行剪枝,另一种方法是采用组合方法,即用多棵决策树进行投票表决(随机森林或GBDT)。
- 《统计学习方法》笔记(5):决策树
- 统计学习方法笔记:决策树
- 《统计学习方法》笔记(六)--决策树
- 统计学习方法 5-决策树
- 统计学习方法笔记七----决策树
- 《统计学习方法,李航》:5、决策树
- 统计学习方法(二)决策树
- 《统计学习方法》第五章决策树学习笔记
- 《统计学习方法》笔记05:决策树模型
- 统计学习方法 笔记与总结 决策树
- 统计学习方法 第5章 决策树(1)
- 统计学习方法 第5章 决策树(2)
- 统计学习方法 李航---第5章 决策树
- 统计学习方法 李航---第5章 决策树
- [统计学习方法]决策树
- 复习统计学习方法-决策树
- 统计学习方法----决策树
- 统计学习方法--决策树
- JSON 入门
- Unity3d push调查
- 设计模式之抽象工厂模式
- 常见排序算法小结
- css兼容性问题
- 《统计学习方法》笔记(5):决策树
- [Android] Android使用序列化接口Parcelable、Serializable
- 54 跟踪内存泄漏
- 【工具】设计模式
- 树的直径
- hibernate4 映射集合属性Map
- JVM系列:四、Java类加载机制总结
- LeetCodet题解--16. 3Sum Closest(离给定值最近的三数之和)
- 求任意两个点之间的最短路径