决策树个人理解

来源：互联网发布：qt淘宝刷单平台哪个好编辑：程序博客网时间：2024/06/05 10:33

"""
香农熵：
    在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。
    （熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）
    
决策树：
    1、计算当前的信息熵HB，计算每个特征的信息熵的期望Hi，选择能使HB-Hi最大的那个
    特征作为这次的分类特征。(能否理解为每次选择熵减少最多的方向)
    2、直到无法分类为止，只有一个类别了或则所有特征都用作分类了
    
    
对于决策树的理解：
    决策树，就是为了更好的进行分类。那么怎样的分类才比较好呢（选择什么属性来分），
    在进行分类的时候，我们当然是想每个分类里面的个体都是比较相近的，即比较纯的。
    
    在前面我们已经了解到，熵可以反映系统的有序程度。熵越大，代表系统越无序(不纯)。熵越小
    代表系统越有序(纯)。所以引进信息熵来描述系统的纯度。
    
    有那么多的属性，选择哪个属性分的类更纯呢。所以我们需要计算连个值，一个是系统当前
    的熵，第二个是按某个属性划分的子系统的熵的期望(条件熵：属性便是条件)。选择能使
    熵 减 条件熵 的 值最大的属性作为当前系统的分类属性。
"""

参考：

熵：

https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)#.E7.86.B5.E7.9A.84.E8.AE.A1.E7.AE.97

条件熵：

https://zh.wikipedia.org/wiki/%E6%9D%A1%E4%BB%B6%E7%86%B5

决策树PPT：

http://wenku.baidu.com/link?url=8Z1oRet3uYd-HcRuLXKv-QhgyuKWjaZ5PRFXOzDS_CwiWiVXuVGaMpU96HbbxjZ7SmiXwB8EN9OWPGH_CYmbcAQgpOlr6z2FBRuzkJR5su7

决策树的博文：

http://www.hankcs.com/ml/decision-tree.html

《机器学习实战》

0 0