决策树(补充)

来源:互联网 发布:数据标准化方法比较 编辑:程序博客网 时间:2024/06/05 14:29

 算法核心问题

  • 该按什么样的次序来选择变量(属性)?
  • 最佳分离点(连续的情形)在哪儿?

ID3

  • 信息增益计算
    这里写图片描述

C4.5

  • 信息增益的方法倾向于首先选择因子数较多的变量
  • 信息增益的改进:增益率
    这里写图片描述

CART分类树算法

  • 大部分流行机器学习软件的决策树都是使用CART实现的
  • 可以支持分类和回归
  • 在分类树算法中使用基尼指数选择变量
    这里写图片描述

韩家炜 p221

预剪枝和后剪枝 看《Python 大战机器学习》

原创粉丝点击