机器学习(三)——决策树(decision tree)算法介绍
来源:互联网 发布:阿里云服务器客服 编辑:程序博客网 时间:2024/06/06 07:22
0.机器学习中分类和预测算法的评估标准
准确率
速度
强壮性
可规模性
可解释性
1、什么是决策树/判定树(decision tree)?
判定树是一个类似于流程图的树结构:其中,每个内部节点表示一个属性上的测试,每个分支代表一个属性的输出,而每个树叶节点代表类或者类分布。树的最顶层是根节点。
2、机器学习中分类方法的重要算法是决策树
3、构造决策树的基本算法
3.1熵(entropy)概念
信息和抽象,如何度量?
1948年,香农提出了 ”信息熵(entropy)“的概念,一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常非常不确定的事情,或者是我们一无所知的事情,需要了解大量信息==>信息量的度量就等于不确定性的多少。
用比特(bit)来衡量信息的多少
信息和抽象,如何度量?
1948年,香农提出了 ”信息熵(entropy)“的概念,一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常非常不确定的事情,或者是我们一无所知的事情,需要了解大量信息==>信息量的度量就等于不确定性的多少。
用比特(bit)来衡量信息的多少
即变量的不确定性越大,熵也就越大
3.2 决策树归纳算法(ID3)
1970-1980,
选择属性判断节点:
信息获取量:Gain(A) = Info(D) - Infor_A(D)
通过A来作为节点分类获取了多少信息
举例:
3.2 决策树归纳算法(ID3)
1970-1980,
选择属性判断节点:
信息获取量:Gain(A) = Info(D) - Infor_A(D)
通过A来作为节点分类获取了多少信息
举例:
根据没有任何属性来分类,数据集本身的目标类的信息值:
以年龄来分的信息熵:
所以:
同理:Gain(income) = 0.029, Gain(student) =0.151,Gain(credit_rating)=0.048
所以,选择age作为第一个根节点,得到:
重复上面的步骤。
算法:
树以代表训练样本的单个结点开始(步骤1)。
如果样本都在同一个类,则该结点成为树叶,并用该类标号(步骤2 和3)。
否则,算法使用称为信息增益的基于熵的度量作为启发信息,选择能够最好地将样本分类的属性(步骤6)。该属性成为该结点的“测试”或“判定”属性(步骤7)。在算法的该版本中,
所有的属性都是分类的,即离散值。连续属性必须离散化。(也就是自己设置阈值)
对测试属性的每个已知的值,创建一个分枝,并据此划分样本(步骤8-10)。
算法使用同样的过程,递归地形成每个划分上的样本判定树。一旦一个属性出现在一个结点上,就不必该结点的任何后代上考虑它(步骤13)。
递归划分步骤仅当下列条件之一成立停止:
(a) 给定结点的所有样本属于同一类(步骤2 和3)。
(b) 没有剩余属性可以用来进一步划分样本(步骤4)。在此情况下,使用多数表决(步骤5)。
这涉及将给定的结点转换成树叶,并用样本中的多数所在的类标记它。替换地,可以存放结
点样本的类分布。
(c) 分枝
test_attribute = a i 没有样本(步骤11)。在这种情况下,以 samples 中的多数类
创建一个树叶(步骤12)
各种算法之间的共同点:都是贪心算法,自上而下;区别:属性选择度量方法不同
4、树剪枝叶(避免overfitting)
4.1 先剪枝(分到某一个程度之后不再分)
4.2 后剪枝(先把所有情况分完,再决定剪枝)
5、决策树的优缺点
优点:直观,便于理解,小规模数据集有效性好
缺点:处理连续变量不好
类别较多时,错误的增加比较快
可规模性一般。
以年龄来分的信息熵:
所以:
同理:Gain(income) = 0.029, Gain(student) =0.151,Gain(credit_rating)=0.048
所以,选择age作为第一个根节点,得到:
重复上面的步骤。
算法:
树以代表训练样本的单个结点开始(步骤1)。
如果样本都在同一个类,则该结点成为树叶,并用该类标号(步骤2 和3)。
否则,算法使用称为信息增益的基于熵的度量作为启发信息,选择能够最好地将样本分类的属性(步骤6)。该属性成为该结点的“测试”或“判定”属性(步骤7)。在算法的该版本中,
所有的属性都是分类的,即离散值。连续属性必须离散化。(也就是自己设置阈值)
对测试属性的每个已知的值,创建一个分枝,并据此划分样本(步骤8-10)。
算法使用同样的过程,递归地形成每个划分上的样本判定树。一旦一个属性出现在一个结点上,就不必该结点的任何后代上考虑它(步骤13)。
递归划分步骤仅当下列条件之一成立停止:
(a) 给定结点的所有样本属于同一类(步骤2 和3)。
(b) 没有剩余属性可以用来进一步划分样本(步骤4)。在此情况下,使用多数表决(步骤5)。
这涉及将给定的结点转换成树叶,并用样本中的多数所在的类标记它。替换地,可以存放结
点样本的类分布。
(c) 分枝
test_attribute = a i 没有样本(步骤11)。在这种情况下,以 samples 中的多数类
创建一个树叶(步骤12)
各种算法之间的共同点:都是贪心算法,自上而下;区别:属性选择度量方法不同
4、树剪枝叶(避免overfitting)
4.1 先剪枝(分到某一个程度之后不再分)
4.2 后剪枝(先把所有情况分完,再决定剪枝)
5、决策树的优缺点
优点:直观,便于理解,小规模数据集有效性好
缺点:处理连续变量不好
类别较多时,错误的增加比较快
可规模性一般。
阅读全文
0 0
- 机器学习(三)——决策树(decision tree)算法介绍
- 机器学习算法—决策树(Decision Tree)
- 机器学习(三)决策树算法Decision Tree
- 机器学习系列05——决策树(Decision tree)
- 机器学习之决策树 Decision Tree(三)scikit-learn算法库
- 【机器学习】决策树(Decision Tree)
- 机器学习: 决策树(Decision Tree)
- 机器学习:决策树(Decision Tree)
- 机器学习之:决策树(Decision Tree)
- 决策树(Decision Tree)-机器学习ML
- 机器学习算法实践:决策树 (Decision Tree)
- 机器学习---决策树(decision tree)算法
- 【机器学习算法-python实现】决策树-Decision tree(2) 决策树的实现
- 【机器学习算法-python实现】决策树-Decision tree(2) 决策树的实现
- Decision Tree(决策树算法)
- Udacity机器学习入门笔记——决策树(Decision Tree)
- 【机器学习】决策树(Decision Tree) 学习笔记
- 机器学习算法原理总结系列---算法基础之(2)决策树(Decision Tree)
- C++:lambda表达式
- 省略号和可变参数模板
- plupload上传插件多图片上传操作
- static-静态类型
- 内存的划分和分配等[转载]
- 机器学习(三)——决策树(decision tree)算法介绍
- pt-query-digest用法
- Caffe初试
- 两个简单的几何问题
- 2017 Multi-University Training Contest
- URL
- python:一个比较有趣的脚本
- C++:虚函数
- 小练习:补数 (Number Complement)